Skip to content
GitLab

Руководство разработчика · Changes

Page history
Update Руководство разработчика authored by Ригвава Владимир Георгиевич's avatar Ригвава Владимир Георгиевич
Hide whitespace changes
Inline Side-by-side
Руководство-разработчика.md
View page @ ab954306
......@@ -20,10 +20,10 @@
# Описание файловой структуры проекта
1. [`cabinet`](https://git.miem.hse.ru/240/competence-search/-/tree/master/cabinet): микросервис **Cabinet**
1. [`data`](https://git.miem.hse.ru/240/competence-search/-/tree/master/cabinet/data): директория с файлами данных из **Личного Кабинета МИЭМ** и бинарным файлом модели
2. [`src`](https://git.miem.hse.ru/240/competence-search/-/tree/master/cabinet/src): исходные программные файлы
1. [`server`](https://git.miem.hse.ru/240/competence-search/-/tree/master/cabinet/src/server): файлы процесса-сервера
1. [**cabinet**](https://git.miem.hse.ru/240/competence-search/-/tree/master/cabinet): микросервис **Cabinet**
1. [data](https://git.miem.hse.ru/240/competence-search/-/tree/master/cabinet/data): директория с файлами данных из **Личного Кабинета МИЭМ** и бинарным файлом модели
2. [src](https://git.miem.hse.ru/240/competence-search/-/tree/master/cabinet/src): исходные программные файлы
1. [*server*](https://git.miem.hse.ru/240/competence-search/-/tree/master/cabinet/src/server): файлы процесса-сервера
1. [`model.py`](https://git.miem.hse.ru/240/competence-search/-/tree/master/cabinet/src/trainer/model.py): методы для работы с моделью и форматирования ответа
2. [`model_config.py`](https://git.miem.hse.ru/240/competence-search/-/tree/master/cabinet/src/trainer/model_config.py): экзмепляр модели, настройки выдачи (в том числе черный список пользователей)
3. [`server.py`](https://git.miem.hse.ru/240/competence-search/-/tree/master/cabinet/src/trainer/server.py): отправная точка процесса-сервера, обработчики для всех `REST/HTTP` методов
......@@ -41,8 +41,8 @@
8. [`logging_default.conf`](https://git.miem.hse.ru/240/competence-search/-/tree/master/cabinet/logging_default.conf): файл с настройкой логирования для режима `DEFAULT`
2. [`chat_bot`](https://git.miem.hse.ru/240/competence-search/-/tree/master/chat_bot): чат-бот
1. [`src`](https://git.miem.hse.ru/240/competence-search/-/blob/master/chat_bot/src): исходные программные файлы
2. [**chat_bot**](https://git.miem.hse.ru/240/competence-search/-/tree/master/chat_bot): чат-бот
1. [src](https://git.miem.hse.ru/240/competence-search/-/blob/master/chat_bot/src): исходные программные файлы
1. [`main.py`](https://git.miem.hse.ru/240/competence-search/-/blob/master/chat_bot/src/main.py): описание класса – чат-бота
2. [`Dockerfile`](https://git.miem.hse.ru/240/competence-search/-/tree/master/chat_bot/Dockerfile): файл с `Docker` образом микросервиса
3. [`Pipfile`](https://git.miem.hse.ru/240/competence-search/-/tree/master/chat_bot/Pipfile): файл со списком всех необходимых библиотек-зависимостей
......@@ -51,12 +51,12 @@
6. [`logging_default.conf`](https://git.miem.hse.ru/240/competence-search/-/tree/master/chat_bot/logging_default.conf): файл с настройкой логирования для режима `DEFAULT`
3. [`colab_notebooks`](https://git.miem.hse.ru/240/competence-search/-/tree/master/colab_notebooks): jupyter-ноутбуки с тестированием работы моделей
3. [**colab_notebooks**](https://git.miem.hse.ru/240/competence-search/-/tree/master/colab_notebooks): jupyter-ноутбуки с тестированием работы моделей
1. [`cabinet.ipynb`](https://git.miem.hse.ru/240/competence-search/-/blob/master/colab_notebooks/cabinet.ipynb): тест модели **Личный кабинет МИЭМ**
4. [`competence_search`](https://git.miem.hse.ru/240/competence-search/-/tree/master/competence_search): микросервис **Competence Search**
1. [`src`](https://git.miem.hse.ru/240/competence-search/-/blob/master/competence_search/src): исходные программные файлы
4. [**competence_search**](https://git.miem.hse.ru/240/competence-search/-/tree/master/competence_search): микросервис **Competence Search**
1. [src](https://git.miem.hse.ru/240/competence-search/-/blob/master/competence_search/src): исходные программные файлы
1. [`main.py`](https://git.miem.hse.ru/240/competence-search/-/blob/master/competence_search/src/main.py): отправная точка, обработчики для всех `REST/HTTP` методов
2. [`services.py`](https://git.miem.hse.ru/240/competence-search/-/blob/master/competence_search/src/services.py): получение данных из всех _микросервисов-обработчиков_, вычисление общей оценки релевантности
2. [`Dockerfile`](https://git.miem.hse.ru/240/competence-search/-/tree/master/competence_search/Dockerfile): файл с `Docker` образом микросервиса
......@@ -66,16 +66,16 @@
6. [`logging_default.conf`](https://git.miem.hse.ru/240/competence-search/-/tree/master/competence_search/logging_default.conf): файл с настройкой логирования для режима `DEFAULT`
5. [`credentials`](https://git.miem.hse.ru/240/competence-search/-/tree/master/credentials): файлы с учетными данными
5. [**credentials**](https://git.miem.hse.ru/240/competence-search/-/tree/master/credentials): файлы с учетными данными
1. [`credentials.json.example`](https://git.miem.hse.ru/240/competence-search/-/tree/master/credentials/credentials.json.example): пример файла с учетными данными для микросервиса **Gtable**
2. [`zulip_admin.txt.example`](https://git.miem.hse.ru/240/competence-search/-/tree/master/credentials/zulip_admin.txt.example): пример файла с учетными данными администратора **Zulip** (для работы с `API` **Zulip**)
3. [`zulip_bot.txt.example`](https://git.miem.hse.ru/240/competence-search/-/tree/master/credentials/zulip_bot.txt.example): пример файла с учетными данными для бота **Поисковик компетенций**
4. [`zulip_bot_dev.json.example`](https://git.miem.hse.ru/240/competence-search/-/tree/master/credentials/zulip_bot_dev.txt.example): пример файла с учетными данными для бота **test_bot_240**
6. [`gtable`](https://git.miem.hse.ru/240/competence-search/-/tree/master/gtable): микросервис **Gtable**
1. [`src`](https://git.miem.hse.ru/240/competence-search/-/blob/master/gtable/src): исходные программные файлы
6. [**gtable**](https://git.miem.hse.ru/240/competence-search/-/tree/master/gtable): микросервис **Gtable**
1. [src](https://git.miem.hse.ru/240/competence-search/-/blob/master/gtable/src): исходные программные файлы
1. [`main.py`](https://git.miem.hse.ru/240/competence-search/-/blob/master/gtable/src/main.py): отправная точка, обработчики для всех `REST/HTTP` методов
2. [`gsheets`](https://git.miem.hse.ru/240/competence-search/-/blob/master/gtable/src/gsheets): директория с файлами для работы с **Google** `API`
2. [*gsheets*](https://git.miem.hse.ru/240/competence-search/-/blob/master/gtable/src/gsheets): директория с файлами для работы с **Google** `API`
1. [`google_sheets_api.py`](https://git.miem.hse.ru/240/competence-search/-/blob/master/gtable/src/gsheets/google_sheets_api.py): класс для работы с Google Таблицами
2. [`google_sheets_data.py`](https://git.miem.hse.ru/240/competence-search/-/blob/master/gtable/src/gsheets/google_sheets_api.py): экзмепляр класса для работы с Google Таблицами, функция для вставки данных в таблицу
2. [`.env`](https://git.miem.hse.ru/240/competence-search/-/tree/master/gtable/.env): файл с `id` таблицы Google
......@@ -86,7 +86,7 @@
7. [`logging_default.conf`](https://git.miem.hse.ru/240/competence-search/-/tree/master/gtable/logging_default.conf): файл с настройкой логирования для режима `DEFAULT`
7. [`lib`](https://git.miem.hse.ru/240/competence-search/-/tree/master/lib): модели и обертки над `API` сервисов
7. [**lib**](https://git.miem.hse.ru/240/competence-search/-/tree/master/lib): модели и обертки над `API` сервисов
1. [`cabinet_data.py`](https://git.miem.hse.ru/240/competence-search/-/tree/master/lib/cabinet_data.py): функции для работы с `API` **Личного Кабинета МИЭМ**
2. [`sbertop2vec.py`](https://git.miem.hse.ru/240/competence-search/-/tree/master/lib/sbertop2vec.py): описание класса – тематической модели для сервисов **Zulip** и **МИЭМ Wiki**
3. [`smartsearch.py`](https://git.miem.hse.ru/240/competence-search/-/tree/master/lib/smartsearch.py): описание класса – модели для **Личного Кабинета МИЭМ**
......@@ -94,17 +94,17 @@
5. [`zulip_data.py`](https://git.miem.hse.ru/240/competence-search/-/tree/master/lib/zulip_data.py): функции для работы с `API` **Zulip**
8. [`logs`](https://git.miem.hse.ru/240/competence-search/-/tree/master/logs): директория с логами от всех микросервисов
8. [**logs**](https://git.miem.hse.ru/240/competence-search/-/tree/master/logs): директория с логами от всех микросервисов
9. [`wiki`](https://git.miem.hse.ru/240/competence-search/-/tree/master/wiki): микросервис **Wiki**
1. [`data`](https://git.miem.hse.ru/240/competence-search/-/tree/master/wiki/data): директория с файлами данных из **МИЭМ Wiki** и бинарным файлом модели
2. [`src`](https://git.miem.hse.ru/240/competence-search/-/tree/master/wiki/src): исходные программные файлы
1. [`server`](https://git.miem.hse.ru/240/competence-search/-/tree/master/wiki/src/server): файлы процесса-сервера
9. [**wiki**](https://git.miem.hse.ru/240/competence-search/-/tree/master/wiki): микросервис **Wiki**
1. [data](https://git.miem.hse.ru/240/competence-search/-/tree/master/wiki/data): директория с файлами данных из **МИЭМ Wiki** и бинарным файлом модели
2. [src](https://git.miem.hse.ru/240/competence-search/-/tree/master/wiki/src): исходные программные файлы
1. [*server*](https://git.miem.hse.ru/240/competence-search/-/tree/master/wiki/src/server): файлы процесса-сервера
1. [`model.py`](https://git.miem.hse.ru/240/competence-search/-/tree/master/wiki/src/trainer/model.py): методы для работы с моделью и форматирования ответа
2. [`model_config.py`](https://git.miem.hse.ru/240/competence-search/-/tree/master/wiki/src/trainer/model_config.py): экзмепляр модели, настройки выдачи (в том числе черный список пользователей)
3. [`server.py`](https://git.miem.hse.ru/240/competence-search/-/tree/master/wiki/src/trainer/server.py): отправная точка процесса-сервера, обработчики для всех `REST/HTTP` методов
2. [`trainer`](https://git.miem.hse.ru/240/competence-search/-/tree/master/wiki/src/trainer): файлы процесса-тренера
2. [*trainer*](https://git.miem.hse.ru/240/competence-search/-/tree/master/wiki/src/trainer): файлы процесса-тренера
1. [`fetch_data.py`](https://git.miem.hse.ru/240/competence-search/-/tree/master/wiki/src/trainer/fetch_data.py): получение данных
2. [`model_config.py`](https://git.miem.hse.ru/240/competence-search/-/tree/master/wiki/src/trainer/model_config.py): список стоп-слов и параметры при обучении модели
3. [`preprocess.py`](https://git.miem.hse.ru/240/competence-search/-/tree/master/wiki/src/trainer/preprocess.py): предобработка данных
......@@ -118,14 +118,14 @@
8. [`logging_default.conf`](https://git.miem.hse.ru/240/competence-search/-/tree/master/wiki/logging_default.conf): файл с настройкой логирования для режима `DEFAULT`
10. [`zulip`](https://git.miem.hse.ru/240/competence-search/-/tree/master/zulip): микросервис **Zulip**
1. [`data`](https://git.miem.hse.ru/240/competence-search/-/tree/master/zulip/data): директория с файлами данных из **Zulip** и бинарным файлом модели
2. [`src`](https://git.miem.hse.ru/240/competence-search/-/tree/master/zulip/src): исходные программные файлы
1. [`server`](https://git.miem.hse.ru/240/competence-search/-/tree/master/zulip/src/server): файлы процесса-сервера
10. [**zulip**](https://git.miem.hse.ru/240/competence-search/-/tree/master/zulip): микросервис **Zulip**
1. [data](https://git.miem.hse.ru/240/competence-search/-/tree/master/zulip/data): директория с файлами данных из **Zulip** и бинарным файлом модели
2. [src](https://git.miem.hse.ru/240/competence-search/-/tree/master/zulip/src): исходные программные файлы
1. [*server*](https://git.miem.hse.ru/240/competence-search/-/tree/master/zulip/src/server): файлы процесса-сервера
1. [`model.py`](https://git.miem.hse.ru/240/competence-search/-/tree/master/zulip/src/trainer/model.py): методы для работы с моделью и форматирования ответа
2. [`model_config.py`](https://git.miem.hse.ru/240/competence-search/-/tree/master/zulip/src/trainer/model_config.py): экзмепляр модели, настройки выдачи (в том числе черный список пользователей)
3. [`server.py`](https://git.miem.hse.ru/240/competence-search/-/tree/master/zulip/src/trainer/server.py): отправная точка процесса-сервера, обработчики для всех `REST/HTTP` методов
2. [`trainer`](https://git.miem.hse.ru/240/competence-search/-/tree/master/zulip/src/trainer): файлы процесса-тренера
2. [*trainer*](https://git.miem.hse.ru/240/competence-search/-/tree/master/zulip/src/trainer): файлы процесса-тренера
1. [`fetch_data.py`](https://git.miem.hse.ru/240/competence-search/-/tree/master/zulip/src/trainer/fetch_data.py): получение данных
2. [`model_config.py`](https://git.miem.hse.ru/240/competence-search/-/tree/master/zulip/src/trainer/model_config.py): список стоп-слов и параметры при обучении модели
3. [`preprocess.py`](https://git.miem.hse.ru/240/competence-search/-/tree/master/zulip/src/trainer/preprocess.py): предобработка данных
......