Исследователи разработали методику для более быстрого обучения робота

Группа исследователей из Massachusetts Institute of Technology (MIT), New York University (NYU) и University of California at Berkeley (UC Berkeley) создали систему, которая позволяет человеку быстро и с минимальными усилиями научить робота тому, что ему необходимо сделать.

В пресс-релизе MIT приводится пример робота для выполнения бытовых задач, доставленного в дом пользователя. Этот робот был создан и обучен на заводе определенному набору задач и никогда не видел предметов в этом конкретном доме. Если попросит его взять кружку с кухонного стола, то он может не справиться с этой задачей, не понимая разнообразие форм и расцветок.

"Сейчас, когда мы обучаем этих роботов, мы не знаем причин их отказа. Поэтому вы просто разводите руками и говорите: "Ладно, придется начинать все сначала". Важнейшим компонентом, которого не хватает в этой системе, является возможность демонстрации роботом причин неудачи, чтобы пользователь мог дать ему обратную связь", - говорит Энди Пенг, аспирант кафедры электротехники и вычислительной техники (EECS) MIT.

Когда робот терпит неудачу, система с помощью алгоритма генерирует контрфактические объяснения, описывающие, что должно было измениться, чтобы робот добился успеха. Например, возможно, робот смог бы поднять кружку, если бы она была определенного цвета. Система показывает эти контрфактические объяснения человеку и просит его высказать свое мнение о причинах неудачи робота. Затем система использует эту обратную связь для генерации новых данных, которые используются для тонкой настройки робота.

Тонкая настройка заключается в изменении модели машинного обучения, которая была обучена для выполнения одной задачи, с тем чтобы она могла выполнять вторую, аналогичную задачу.

Исследователи протестировали эту методику на симуляторах и обнаружили, что она позволяет обучать робота более эффективно, чем другие методы. Роботы, обученные по этой схеме, показали лучшие результаты, а процесс обучения занял меньше времени у человека.

Такая схема может помочь роботам быстрее осваиваться в новых условиях, не требуя от пользователя технических знаний. В перспективе это может стать шагом к тому, чтобы роботы общего назначения могли эффективно выполнять повседневные задачи для пожилых людей или людей с ограниченными возможностями в различных условиях.

В дальнейшем исследователи надеются протестировать эту схему на реальных роботах. Они также хотят сосредоточиться на сокращении времени, которое требуется системе для создания новых данных с помощью генеративных моделей машинного обучения.

"Мы хотим, чтобы роботы делали то же, что и люди, и чтобы они делали это семантически осмысленно. Человек, как правило, работает в абстрактном пространстве, где он не задумывается о каждом свойстве изображения. В конечном счете, речь идет о том, чтобы дать роботу возможность выучить похожее на человеческое представление на абстрактном уровне", - говорит Пенг.

Результаты исследования будут представлены на Международной конференции по машинному обучению.

Изображение: Jose-Luis Olivares/MIT with images from iStock and The Coop