Консалтинговая группа "Текарт" - центр компетенции "Робототехника".

Подробнее...
Основное меню
Категории новостей

09.12.2016

Логотип

Open source платформа для создания своего собственного робота-компаньона (робота-собеседника)

Создайте своего личного помощника, который отвечал бы на письма и с которым вы могли бы разговаривать. Создайте помощника, который помогал бы вам учить иностранный язык и был бы незаменимым дополнением в обыденной жизни.

SelfieBot Endurance Chatbot

Endurance предлагает open source платформу для создания робота-собеседника (робота-компаньона) под Android и Windows 7 / 8 / 10.

SelfieBot Endurance Chatbot состоит из следующих модулей:

  • Механической конструкции DIY SelfieBot (управляемая подставка под телефон или планшет) .
  • Программного комплекса Endurance Chatbot Platform ver. 4.0, включающего.
  • Распознавание речи от Ok Google.
  • Распознавание образов (лиц) на базе OpenCV.
  • Синтез речи Microsoft SAPI (Елена).
  • Движок Botlibre (платформу для создания и настройки чатбота).

Основные настройки Botlibre

Users - Configure who can access, and administer your bot.
Avatar - Configure your bot's appearance. Choose an animated avatar, or create your own.
Voice - Configure your bot's language and voice.
Learning & Settings - Configure your bot's learning ability and other settings.
Training & Chat Logs - Train your bot's responses, greetings, and default responses. View and your bot's conversations. Import and export chat logs to text or AIML files.
Twitter - Allow your bot to manage a Twitter account and interact with other Twitter users.
Facebook - Allow your bot to manage a Facebook account or page and interact with other Facebook users.
Telegram - Allow bot to manage a Telegram channel or chat on Telegram.
Slack - Allow your bot to send, receive, and reply to Slack messages.
Email - Allow your bot to manage an email account and answer emails.
SMS - Allow your bot to send, receive, and reply to SMS messages.
Google - Allow your bot to connect to Google services such as Google Calendar.
IRC - Allow your bot to chat with others on an IRC chat channel.
Web - Import data from the Freebase, Wiktionary, or other websites.
Knowledge - Browse your bot's knowledge database.
Scripts - Add, create, edit, import, and export Self or AIML scripting programs.
Log - View the bot's log for errors and debugging info.

Подробнее о конструкции DIY SelfieBot

Механическая конструкция DIY SelfieBot – это подставка под телефон или планшет, способная поворачиваться вслед за собеседником.

Конструкция DIY SelfieBot является полностью open source решением под Windows и Android.

Это значит, что каждый желающий может изготовить ее самостоятельно либо заказать у нас комплект электроники для сборки устройства или уже готовый SelfieBot.

DIY SelfieBot снабжен функцией поворота вслед за собеседником, что обеспечивает пользователю ощущение взаимодействия с собеседником.

Преимущества платформы SelfieBot Endurance Chatbot

Преимущество предлагаемого решения SelfieBot Endurance Chatbot заключается в том, что созданный на его основе робот-собеседник способен существовать не только внутри мировой паутины, но и offline. Общаться с ним можно в любых условиях при наличии интернет-соединение 3G/4G/WiFi.

Решение SelfieBot Endurance Chatbot включает встроенный модуль по распознаванию лиц и образов, т.е. чатбот видит, с кем разговаривает, и может идентифицировать собеседника по лицу. SelfieBot Endurance Chatbot можно настроить таким образом, что у каждого члена семьи будет свой индивидуальный чатбот со своим собственным внешним видом и характером.

Как это работает?

  • Регистрируете и создаете своего чатбота в системе Botlibre.
  • Устанавливаете нашу программу на планшет или смартфон.
  • Устанавливаете телефон/планшет на платформу SelfieBot Endurance Chatbot.
  • Запускаете программу (приложение).
  • Программа распознает (первичный запуск) пользователя и просит его ввести свое имя или узнает (вторичный запуск) собеседника по лицу.
  • Запускается распознавание речи от Ok Google. В зависимости от настроек сказанная собеседником фраза либо целиком прослушивается и анализируется в течение 30 секунд, либо прослушивается и анализируется по частям.
  • Происходит распознавание речи.
  • Распознанная фраза пересылается чатботу на Botlibre.
  • Botlibre возвращает ответ в программу.
  • Программа синтезирует голос с помощью Microsoft SAPI.
  • Далее, если беседа продолжается, процесс повторяется, и беседа может длиться бесконечное время.
  • На SelfieBot Endurance Chatbot можно загрузить свой аватар.
  • Обучать чатбот можно как вам угодно.

Так выглядит программа в версии разработчика.

В финальной версии пользователя на экране отображается только аватар вашего чатбота.

Установить и настроить своего робота-собеседника можно менее чем за 2 часа.

SelfieBot Endurance Chatbot поддерживает пока 2 языка: русский и английский.

Например, вот так:

Вы можете общаться со своим SelfieBot Endurance Chatbot на любые темы. Только учтите, что чем больше вы с ним разговариваете, тем больше сведений он приобретает, поэтому старайтесь не засорять его знания плохой и некачественной информацией.

Кому и для чего это нужно?

В первую очередь данное решение может быть использовано для обучения всех тех, кто мечтает создать своего реального робота-компаньона, в том числе школьников и студентов. Платформа полностью open source, поэтому не стесняйтесь делиться результатами своей работы с друзьями и коллегами.

Главное, что созданного робота можно использовать в повседневной жизни.

Создание своего робота-собеседника позволяет приобрести знания и опыт разработки embedded решений под Android 4 / 5 / 6, а также Windows 7 / 8 / 10, а также опыт работы с:

  • Java,
  • С++,
  • языком разметки AIML,
  • OpenCV,
  • JSON запросами.

В дополнение можно отдельно настроить SelfieBot. Для этого потребуется знание Arduino, электроники и основ 3D-моделирования и 3D-печати.

Каждый желающий может создать своего робота-собеседника для дома и для бизнеса.

Готового робота-собеседника можно использовать для научных и практических целей.

Например, в качестве:

  • Платформы для интеграции с физическим (например, колесным) роботом, типа робота – официанта, one mile delivery, робота-телеприсутствия и т.д.
  • Робота - учителя иностранного языка.
  • Робота - администратора на стойке регистрации.
  • Робота – собеседника для пожилых людей

Что мы предлагаем?

SelfieBot Endurance Chatbot, как «as is open source» проект, для создания которого потребуется наше приложение и набор электроники.
Поддержку.
Обучение.
Создание готового чатбота под конкретный заказ или бизнес кейс.
Базовую версию электроники для создания SelfieBot Endurance Chatbot или напечатанного на 3D-принтере робота.

Для создания своего робота-собеседника Вам потребуется 3D-принтер и знания электроники и схемотехники.

Поскольку проект является open source, то описание по сборке и настройке можно найти на сайте.

Либо заказать уже готовый DIY SelfieBot всего за 195 долларов + доставка.

Комплект электроники за 95$

Готовый продукт, отпечатанный на 3D-принтере - 195$

Минимальный набор (только электроника)

Набор электроники включает: Aduino Nano (ATMega), 2 DC/DC преобразователя, модуль Bluetooth, 2 сервопривода MG996, a PCB, a макетную плату, адаптер питания, предохранители, джамперы, провода и пр.
Руководство по сборке и эксплуатации PDF

Готовый продукт

Отпечатанный на 3D-принтере, готовый к эксплуатации СелфиБот.
Руководство по эксплуатации

Базовые настройки Endurance Chatbot Platform ver. 4.0, используемые в нашей платформе

В исходной программе есть несколько открытых настроек:

bot_app_id=1156124978941390219 // название чатбота для подключения
bot_instance_id=14142865 // название профайла
bot_address=www.Botlibre.com // адрес подключения к серверу Botlibre
recogn_lang=en-US // язык синтеза речи
speech_lang=409 // язык распознавания речи
google_key=AIzaSyBT3lf4Z3mM5vyEEGJTWSM_T77sKpdDrUk // ключ к подключения Ok Google для распознавания речи
sound_record_level=10000 // относительный уровень звукового сигнала для автоматического начала распознавания речи
pause_record_msec=2000 // продолжительность последней паузы перед тем, как фраза отправляется на распознавание в Ok Google
speech_speed=0 // относительная скорость синтеза речи

Дополнительно могут быть сделаны и другие настройки.

О разработках

Разработка платформы ведется по открытой лицензии Creative common license Attribution-NonCommercial-ShareAlike 3.0

Платформа предоставляется «as is», и разработчики не несут ответственности за нарушения работы тех или иных функций, которые предоставляются сторонними вендорами, а именно: Google, OpenCV, Microsoft, Botlibre.

О команде создателей

Фомичев Георгий – Основатель Endurance

Спикер на конференциях MoNage в г. Бостон 21 Sep, 2016.
Финалист конкурсов по роботам Pitchfire Robobusiness в г. Сан Хосе. 28-29 Sep, 2016.
Спикер на ежегодной конференции IEEE Connecticut Conference on Industrial Electronics, Technology & Automation (CT-IETA 2016) в г. Бриджпорт 14 - 15, 2016

Aндрей Азовский – Разработчик с более 15-ти летним опытом работы. C / C++ / JSON

Александр Шаст – Электронщик с 15ти летним опытом. Автор электроники SelfieBot.

Анатолий Преображенский – Разработчик чатбота внутри среды Botlibre.

Сергей Миронов – Партнер с более чем 5-ти летним опытом в коммерческих продажах

Филипп Хохлов – Дизайнер и главный тестировщик.

Приглашаем в проект

Проект является полностью open – source. Мы приглашаем в проект университетские команды разработчиков, а также (индивидуальных разработчиков) всех желающих.

Проект открывает большие возможности по освоению технологии создания чатботов и опыта работы с данной технологией.

Ближайшие задачи проекта:

  1. Разработать приложение под iOS.
  2. Создать готовое решение робота - администратора (регистрация посетителей).
  3. Разработать более удобный интерфейс (UX/UI).
  4. Создать машинное обучение. Обеспечить преобразование неструктурированных текстов в структурированные, пригодные для чатботов.
  5. Создать универсального робота-собеседника для пожилых людей.

Как работает версия робота-собеседника

Робот-собеседник слышит обращенную к нему речь и отвечает собеседнику, исходя из запрограммированных вариантов ответа, а при их отсутствии пользуется сторонним поиском, например, Google. Когда ответ найден, сообщает его собеседнику.

Сторонний поиск может быть легко настроен и включается, когда собеседник задает вопросы, на которые ответы не запрограммированы. А также, когда собеседник спрашивает: найди, узнай и т.д.

Обзор о SelfieBot Endurance Chatbot

Как настраивается

Система обучения чатбота довольно простая:

Загружаются шаблоны: вопрос / ответ.
Загружаются неструктурированные тексты в формате freebase для самостоятельного обучения чатбота.
При несоответствии ответа вопросу: администратор, пользователь могут предложить скорректированную версию ответа (в зависимости от настроек обучения).
Использование XML / JSON запросов для получения тех или иных данных для отображения в чатботе.

Как работает

  1. Создание чатбота на Botlibre.
  2. Обучение чатбота.
  3. Регистрация своего google ключа для использования распознавания «Ok Google».
  4. Установка программы на планшет Windows / Android.
  5. Установка планшета на DIY SelfieBot.
  6. Внесение необходимых изменений в конфиг файл *.cfg.
  7. Запуск программы

Пользуйтесь роботом-собеседником и получайте удовольствие.

Теги: Endurance

Комментарии

(0) Добавить комментарий

Ищите команду разработчиков? Не можете найти робота для своих нужд? Пишите нам!

Для обратной связи укажите ваш E-mail, он будет доступен только администратору. Так вы сможете оперативно узнать, когда ответ на ваш вопрос будет опубликован



Новые комментарии

Магнитные гусеничные роботы для очистки корпуса судна от продуктов биообрастания
Гость Николай Николаевич
29.12.2023
10:23:08
Очень нравится. Как возможно задействовать в наших водах Азов и Черное море