Open source платформа для создания робота - собеседника от Endurance (+видео)

Endurance Chatbot Platform ver.4.0 Endurance предлагает open source платформу для создания робота-собеседника (чатбота) под Windows 7 / 8 / 10.

Платформа состоит из следующих модулей:

• Распознавания речи от Ok Google.
• Распознавания образов (лиц) на базе OpenCV.
• Синтез речи Microsoft SAPI (Елена).
• Движка Botlibre (платформы для создания и настройки чатбота) с возможностью интеграции с Microsoft Botframework.

Основные настройки Botlibre

Users - Configure who can access, and administer your bot.
Avatar - Configure your bot's appearance. Choose an animated avatar, or create your own.
Voice - Configure your bot's language and voice.
Learning & Settings - Configure your bot's learning ability and other settings.
Training & Chat Logs - Train your bot's responses, greetings, and default responses. View and your bot's conversations. Import and export chat logs to text or AIML files.
Twitter - Allow your bot to manage a Twitter account and interact with other Twitter users.
Facebook - Allow your bot to manage a Facebook account or page and interact with other Facebook users.
Telegram - Allow bot to manage a Telegram channel or chat on Telegram.
Slack - Allow your bot to send, receive, and reply to Slack messages.
Email - Allow your bot to manage an email account and answer emails.
SMS - Allow your bot to send, receive, and reply to SMS messages.
Google - Allow your bot to connect to Google services such as Google Calendar.
IRC - Allow your bot to chat with others on an IRC chat channel.
Web - Import data from the Freebase, Wiktionary, or other websites.
Knowledge - Browse your bot's knowledge database.
Scripts - Add, create, edit, import, and export Self or AIML scripting programs.
Log - View the bot's log for errors and debugging info.

Это программный комплекс состоит из 4-х модулей, которые позволяют создать локального (embedded) робота-собеседника (чатбота) для ОС Windows 7/ 8/10.

Преимущества

Преимущество предлагаемого решения Endurance заключается в том, что помимо стандартных сред, таких как: Web, Slack, Telegram, Twitter, Facebook, Gmail, можно использовать локальную версию (embedded) и пользоваться чатботом offline.

Кроме того, embedded решение Endurance включает встроенный модуль по распознаванию лиц и образов, т.е. чатбот видит, с кем разговаривает, и может идентифицировать собеседника по лицу.

Как это работает?

• Запускается программа (приложение) под Windows 7 / 8 / 10.
• Программа распознает (первичный запуск) или узнает (вторичный запуск) собеседника по лицу. Просит ввести имя.
• Запускается распознавание речи от Ok Google. В зависимости от настроек сказанная собеседником фраза либо целиком прослушивается и анализируется в течение 30 секунд, либо прослушивается и анализируется по частям.
• Происходит распознавание речи.
• Распознанная фраза пересылается чатботу на Botlibre.
• Botlibre возвращает ответ на полученную фразу в программу.
• Программа синтезирует голос с помощью Microsoft SAPI.
• Далее, если беседа продолжается, процесс повторяется, и беседа может длиться бесконечное время.

Кому и для чего это нужно?

В первую очередь данное решение может быть использовано для обучения всех тех, кто мечтает создать своего чатбота, в том числе школьников и студентов.

Создание своего чатбота позволяет приобрести знания и опыт разработки embedded решений под Windows 7 / 8 / 10, а также опыт работы с:

• С++,
• языком разметки AIML,
• OpenCV,
• JSON запросами.

Каждый желающий может создать своего чатбота для Web, Telegram, Facebook, Slack, Twitter, Gmail и др.

Готовый чатбот можно использовать для научных и практических целей.

Например, в качестве:

• Платформы для интеграция с физическим (например, колесным) роботом, типа робота – официанта, one mile delivery, робота-телеприсутствия и т.д.
• Робота - учителя иностранного языка.
• Робота - администратора на стойке регистрации.
• Робота – собеседника для пожилых людей.

Что мы предлагаем?

Платформу Endurance Chatbot Platform ver. 4.0 бесплатно.
Поддержку.
Обучение.
Создание готового чатбота под конкретный заказ или бизнес кейс.

Настройки Endurance Chatbot Platform ver. 4.0

В исходной программе есть несколько открытых настроек:

bot_app_id=1156124978941390219 // название чатбота для подключения

bot_instance_id=14142865 // название профайла

bot_address=www.Botlibre.com // адрес подключения к серверу Botlibre

recogn_lang=en-US // язык синтеза речи

speech_lang=409 // язык распознавания речи

google_key=AIzaSyBT3lf4Z3mM5vyEEGJTWSM_T77sKpdDrUk // ключ к подключения Ok Google для распознавания речи

sound_record_level=10000 // относительный уровень звукового сигнала для автоматического начала распознавания речи

pause_record_msec=2000 // продолжительность последней паузы перед тем, как фраза отправляется на распознавание в Ok Google

speech_speed=0 // относительная скорость синтеза речи

Дополнительно могут быть внесены и другие настройки.

О разработках

Разработка платформы ведется по открытой лицензии Creative common license Attribution-NonCommercial-ShareAlike 3.0

Платформа предоставляется as is, и разработчики не несут ответственности за нарушения работы тех или иных функций, которые предоставляются сторонними вендорами, а именно: Google, OpenCV, Microsoft, Botlibre.

О команде создателей

• Фомичев Георгий – Основатель Endurance
Спикер на конференциях MoNage в г. Бостон 21 Sep, 2016.
Финалист конкурсов по роботам Pitchfire RoboBusiness в г. Сан Хосе. 28-29 Sep, 2016.
Спикер на ежегодной конференции IEEE Connecticut Conference on Industrial Electronics, Technology & Automation (CT-IETA 2016) в г. Бриджпорт 14 - 15, 2016 

• Aндрей Азовский – Разработчик с более 15-ти летним опытом работы. C / C++ / JSON
• Анатолий Преображенский – Разработчик чатбота внутри среды Botlibre.
• Сергей Миронов – Партнер с более чем 5-ти летним опытом в коммерческих продажах
• Филипп Хохлов – Главный тестировщик.

Приглашаем в проект

Проект является полностью open source. Мы приглашаем в проект университетские команды разработчиков, а также (индивидуальных разработчиков) всех желающих.

Проект открывает большие возможности по освоению технологии создания чатботов и приобретению опыта работы с данной технологией.

Ближайшие задачи проекта:

1. Разработать приложение под Android / iOS.
2. Создать готовое решение робота - администратора (регистрация посетителей). Selfiebot receptionist, presentaion for STEM centers, schools and colleges.
3. Разработать более удобный интерфейс (UX/UI).
4. Создать машинное обучение. Обеспечить преобразование неструктурированных текстов в структурированные, пригодные для чатботов.

Как работает версия робота-собеседника

Робот-собеседник слышит обращенную к нему речь и отвечает собеседнику, исходя из запрограммированных вариантов ответа, а при их отсутствии пользуется сторонним поиском, например, Google. Когда ответ найден, сообщает его собеседнику.

Как настраивается

Система обучения чатбота довольно простая:

Загружаются шаблоны: вопрос / ответ.
Загружаются неструктурированные тексты в формате freebase для самостоятельного обучения чатбота.
При несоответствии ответа вопросу: администратор и пользователь могут предложить скорректированную версию ответа (в зависимости от настроек обучения).
Использование XML / JSON запросов для получения тех или иных данных для отображения в чатботе.

Как работает

1. Создание чатбота на Botlibre.
2. Обучение чатбота.
3. Регистрация своего google ключа для использования распознавания «Ok Google».
4. Внесение необходимых изменений в конфиг файл *.cfg.
5. Запуск программы.