Архитектура продукта для внутреннего хранилища базы знаний. Enterprise решение.

Компания Endurance приглашает к пилотному тестированию компании и корпорации, которым необходимо организовать корпоративные базы знаний.

Загрузка знаний в чатбота.

Знания могу быть загружены в формате структурированных и неструктурированных документов иерархически связанных и несвязанных друг с другом.

Обучение чатбота

Загруженный текст разбивается на блоки (единичный документ):

• Фразы
• Предложения
• Группы предложений
• Абзацы
• Комбинации предложений.

К каждому блоку присваивается набор свойств и параметров:

• Синонимы и синонимический ряд
• Все возможные словоформы
• Исключаются вспомогательные части речи, такие как предлоги, частицы, местоимения и тд. Остаются только основные части: существительные, глаголы, прилагательные, наречия.
• Выделяются типичные связи частей речи.
• Выделаются вектора значений и смысла.
• Присваиваются веса синонима.
• Определяются ключевые части предложения: существенный и несущественные.
• Выделяются нетипичные синонимы.
• Создается автореферирование по блокам.
• Определение наиболее вероятного вопросительного слова к блоку

Построение запроса

Пользователь пишет запрос.

Запрос автоматически расширяется. К запросу добавляется невидимая часть запроса, состоящая из дополнительных синонимов, синонимического ряда, вектора вопроса.

Вывод ответа

Происходит одни или группой критериев, взвешенных в зависимости от качества выдачи.

Выдача ответы происходит при совпадении:

• Основного запроса с выдачей ответа (плотность ключевых слов)
• Совпадение синонимов или синонимического ряда
• Совпадения ключевого запроса и словоформ
• Совпадения вектора значений и смысла
• Совпадения наиболее вероятного вопросительного слова к блоку

В случае если совпадение имеет более низкий порог, чем требуется, то:

• Пользователь должен ввести дополнительные понятия, дата, место, время, синонимы и тд. К запросу. Запрос суммируется.
• В случае отсутствия важной части речи - запрос на уточнение частей речи.
• Уточнение по векторам значений и смысла.
• Уточнение по весам синонимов.
• Предложение по исключения несущественных частей речи.

Хранение знаний

Хранение знаний представляет собой базу данных и обученную нейросеть.

Обратная связь

Пользователь имеет возможность отмечать, в каком случае ответ оказался релевантным.

В случае отсутствия релевантного ответа – пользователь имеет возможность написать верный ответ.

Параметры

1. Чувствительность к синонимам
2. Чувствительность к словоформам
3. Чувствительность к пропущенным частям речи или смысловым частям запроса
4. Чувствительность к векторному совпадению запроса Выделяются типичные связи частей речи
5. Чувствительность к совпадению вопросительного слова
6. Чувствительность существенным или несущественным частям предложения в запросе
7. Чувствительность к нетипичным фразам

Валидация и пример запросов