Исследователи из Кембриджского университета научили своего робота готовить 8 простых салатов. В качестве обучающего материала использовались видеоролики на которых человек демонстрировал эти рецепты.
Кроме того, видеоматериалы помогали роботу постепенно пополнить свою "поваренную книгу". Результаты исследования, о которых сообщается в журнале IEEE Access, демонстрируют, как видеоконтент может стать ценным и богатым источником данных для автоматизированного производства продуктов питания, и могут способствовать более простому и дешевому внедрению роботов на кухни.
Роботы-повара десятилетиями фигурировали в научной фантастике, но в реальности приготовление пищи - сложная задача для робота. Несколько коммерческих компаний создали прототипы роботов-поваров, но они значительно отстают от человека в плане мастерства. Люди могут изучать новые рецепты, наблюдая за тем, как готовит другой человек, или просматривая видео на YouTube, но программирование робота для приготовления различных блюд требует больших финансовых затрат и времени.
"Мы хотели узнать, сможем ли мы обучить робота тому же постепенному обучению, что и людей - путем определения ингредиентов и их сочетания в блюде", - сказал Гжегож Сохацки с инженерного факультета Кембриджа, первый автор статьи.
Сохацки и его коллеги разработали восемь простых рецептов салатов и сняли на видео их приготовление. Затем они использовали общедоступную нейронную сеть для обучения своего робота. Нейронная сеть уже была запрограммирована на распознавание ряда различных объектов, включая фрукты и овощи, использованные в восьми рецептах салата (брокколи, морковь, яблоко, банан и апельсин).
Используя методы компьютерного зрения, робот проанализировал каждый кадр видео и смог идентифицировать различные объекты и особенности, такие как нож и ингредиенты, а также руки, кисти и лицо человека. Правильно идентифицируя ингредиенты и действия человека, робот мог определить, какой из рецептов готовится. Робот мог сделать вывод, что если человек держит в одной руке нож, а в другой - морковь, то морковь будет нарезана.
Из 16 просмотренных видеороликов робот распознавал правильный рецепт в 93% случаев, хотя он идентифицировал только 83% действий человека правильно. Робот также смог определить, что незначительные изменения в рецепте, такие как приготовление двойной порции или обычная человеческая ошибка, были вариациями, а не новым рецептом. Робот также правильно распознал демонстрацию нового, девятого по счету салата, добавил его в свою кулинарную книгу и приготовил.
"Удивительно, как много нюансов смог обнаружить робот, - говорит Сохацки. - Эти рецепты не являются сложными - по сути, это нарезанные фрукты и овощи, но он действительно эффективно распознавал, например, что два нарезанных яблока и две нарезанные моркови - это тот же рецепт, что и три нарезанных яблока и три нарезанных моркови".
Видеоролики, использованные для обучения робота, не похожи на видеоролики от блогеров и поваров в соцсетях, которые полны сокращений, визуальных эффектов и быстрых перемещений продуктов питания. Например, робот с трудом распознает морковь, если человек обхватывает ее рукой. Чтобы робот смог это сделать необходимо положить морковь так, чтобы он мог видеть овощ целиком.
"Наш робот не заинтересован в таких видеороликах о еде, которые становятся вирусными в социальных сетях - за ними просто слишком сложно уследить, - говорит Сохацки. - Но когда роботы станут лучше и быстрее определять ингредиенты в видеороликах, они смогут использовать такие сайты, как YouTube, для изучения целого ряда рецептов".
Исследование было частично поддержано компанией Beko plc и Исследовательским советом по инженерным и физическим наукам (EPSRC), входящим в состав UK Research and Innovation (UKRI).
Комментарии
(0) Добавить комментарий