|
|
|
# Содержание
|
|
|
|
1. [Архитектура сервиса](#1-архитектура-сервиса)
|
|
|
|
1. [Описание архитектуры приложения](#11описание-архитектуры-приложения)
|
|
|
|
2. [Описание алгоритма работы системы](#2-описание-алгоритма-и-принципа-работы-модулей-системы)
|
|
|
|
2. [Описание алгоритма и принципа работы модулей системы](#2-описание-алгоритма-и-принципа-работы-модулей-системы)
|
|
|
|
1. [Описание алгоритма и принципа работы микросервисов-обработчиков](#21-описание-алгоритма-и-принципа-работы-микросервисов-обработчиков)
|
|
|
|
2. [Описание алгоритма и принципа работы главного микросервиса](#22-описание-алгоритма-и-принципа-работы-главного-микросервиса)
|
|
|
|
3. [Описание алгоритма и принципа работы микросервиса Gtable](#23-описание-алгоритма-и-принципа-работы-микросервиса-gtable)
|
|
|
|
4. [Описание алгоритма и принципа работы микросервиса Zulip bot](#24-описание-алгоритма-и-принципа-работы-микросервиса-zulip-bot)
|
|
|
|
3. [Подгрузка данных из сервисов и начальная предобработка](#3-подгрузка-данных-из-сервисов-и-начальная-предобработка)
|
|
|
|
1. [Загрузка данных Zulip и начальная предобработка](#31-загрузка-данных-zulip-и-начальная-предобработка)
|
|
|
|
2. [Загрузка данных МИЭМ Wiki и начальная предобработка](#32-загрузка-данных-миэм-wiki-и-начальная-предобработка)
|
|
|
|
3. [Загрузка данных сервиса Личный кабинет МИЭМ и начальная предобработка](#33-загрузка-данных-сервиса-личный-кабинет-миэм-и-начальная-предобработка)
|
|
|
|
4. [Размещение приложения на сервере](#4-размещение-приложения-на-сервере)
|
|
|
|
5. [Описание процесса работы тематических моделей](#5-описание-процесса-работы-тематических-моделей)
|
|
|
|
1. [Описание работы тематической модели обработки данных Zulip и Wiki МИЭМ](#51-описание-работы-тематической-модели-обработки-данных-zulip-и-wiki-миэм)
|
|
|
|
2. [Описание тематической модели обработки данных Личнного Кабинета МИЭМ](#52-описание-тематической-модели-обработки-данных-личнного-кабинета-миэм)
|
|
|
|
|
|
|
|
# 1 Архитектура сервиса
|
|
|
|
|
|
|
|
## 1.1 Описание архитектуры приложения
|
| ... | ... | @@ -284,4 +302,4 @@ |
|
|
|
|
|
|
|
В модели реализован метод [`fit`](https://git.miem.hse.ru/240/competence-search/-/blob/c911531e19c93a1f7a0dc6b70b70c419284db23d/lib/smartsearch.py#L64), создающий и сохраняющий в памяти векторные представления всех документов в корпусе и другие необходимые для работы модели данные. Это позволяет экономить время и вычислительные мощности при запросе, так как основные вычисления и преобразования данных должны быть произведены всего один раз (до следующей подгрузки данных из сервиса).
|
|
|
|
|
|
|
|
Также были реализованы методы [`save`](https://git.miem.hse.ru/240/competence-search/-/blob/c911531e19c93a1f7a0dc6b70b70c419284db23d/lib/smartsearch.py#L86) и [`load`](https://git.miem.hse.ru/240/competence-search/-/blob/c911531e19c93a1f7a0dc6b70b70c419284db23d/lib/smartsearch.py#L70), позволяющие хранить все необходимые данные и параметры модели в постоянной памяти или, наоборот, загружать их. |
|
|
|
Также были реализованы методы [`save`](https://git.miem.hse.ru/240/competence-search/-/blob/c911531e19c93a1f7a0dc6b70b70c419284db23d/lib/smartsearch.py#L86) и [`load`](https://git.miem.hse.ru/240/competence-search/-/blob/c911531e19c93a1f7a0dc6b70b70c419284db23d/lib/smartsearch.py#L70), позволяющие хранить все необходимые данные и параметры модели в постоянной памяти или, наоборот, загружать их. |
|
|
\ No newline at end of file |
