Робот Shimi научился понимать людей и отвечать им пением (+видео)

Взаимодействие человека c роботом легко сделать неудачным и очень сложно создать хорошее взаимопонимание. Одним из зарекомендовавших себя подходов с роботами типа R2-D2 и Kuri является устранение языковой проблемы — вместо того, чтобы использовать для общения реальные слова, вы можете обойтись (по крайней мере, на эмоциональном уровне) различными «пиканиями» и «бульканиями».

Ведь, как известно каждому, кто смотрел «Звездные войны», R2-D2 действительно издает много выразительных шумов, которые были тщательно спроектированы.

Большинство современных роботов не могут позволить себе такую роскошь, как профессиональная звуковая команда разработчиков, поэтому возникает вопрос, как научить робота издавать правильные звуки в нужное время. Гил Вайнберг и его ученики имеют большой опыт работы с роботами в Центре музыкальных технологий Технологического институт Джорджии. Они использовали новую методику глубокого обучения, чтобы научить своего музыкального робота Shimi основам понимания человеческих эмоций и общению с помощью музыки.

Shimi известен с 2012 года и был изначально запрограммирован для воспроизведения музыки и своеобразного танца. Гораздо сложнее было приучить Shimi распознавать человеческие эмоции и реагировать на них. Тот факт, что Shimi не использует слова, не позволяет ему давать как полезные, так и глупые советы.

Чтобы научить Shimi эффективно импровизировать со звуком, тоном и движением, нужно было тренировать его с очень большим объемом данных. Чтобы совершенствовать поведение Shimi, глубокая нейронная сеть использовала следующие условия:

• 10 000 файлов от 15 импровизирующих музыкантов, играющих в ответ на разные эмоциональные запросы;
• 300 000 образцов музыкальных инструментов, играющих разные ноты, чтобы добавить музыкальную выразительность художественной декламации;
• один из самых редких из существующих языков – почти вымерший язык австралийских аборигенов, состоящий из 28 фонем.

Присутствие последнего пункта немного непонятно. Но это ключ к вокализации Shimi, потому что именно так робот гарантирует, что никто (или почти никто) вообще не может приписать какое-либо прямое значение шумам, которые он издает.