Робот Autodesk учится собирать Лего с помощью машинного обучения (+видео)

Команда исследователей из Autodesk AI Lab в Сан-Франциско разработала проект Brickbot – роботизированную систему, которая учится анализировать окружающие условия и адаптироваться к ним для того, чтобы правильно выполнять поставленную перед ним задачу.

BrickBot оснащен камерами, сенсорами и нейронными сетями, которые позволяют ему обрабатывать и реагировать на поступающую информацию.

Сегодня промышленные роботы на фабриках запрограммированы на выполнение одной и той же задачи – например, точечной сварки в строго определенном месте на автоматическом конвейере для сборки. Они абсолютно не способны приспосабливаться к изменяющимся обстоятельствам реального мира. При этом на их обучение требуются многие месяцы или даже годы. Цель проекта BrickBot – изменить этот подход и предложить строительным и промышленным предприятиям умные машины, которые смогут не только адаптироваться к окружающей среде, но и понимать, какой цели им нужно достичь. 

Обучение BrickBot происходит с помощью кирпичиков Лего. Его задача – разобраться в горстках игрушечных кубиков, используя машинное обучение, выбрать соответствующие детали для заданной конструкции, а затем собрать ее, хватая и складывая кирпичики вместе в правильной последовательности и в нужном месте. Система учится работать с кирпичиками всех возможных конфигураций – прямоугольников, квадратов, миниатюрных людей и т.д., поскольку в промышленности компоненты могут быть абсолютно любой формы.

«Использование пластиковых кубиков позволило нам сохранять контроль над проектом и в то же время иметь свободу для экспериментов на всех этапах от стадии проектирования до конечного продукта, - говорит Йотто Кога (Yotto Koga), архитектор ПО Autodesk с ученой степенью в области робототехники. – Теперь мы близки к тому, чтобы предпринять следующий шаг. Мы планируем выбрать по одному клиенту из промышленной и строительной отраслей для того, чтобы вместе с ними посмотреть, как технология Brickbot может применяться в реальном мире».

На ранних этапах BrickBot использовал машинное обучение для получения данных с сенсоров и пытался с помощью изображений с камер выбрать правильные кирпичики Лего. Это не принесло нужного результата, поэтому Кога попробовал использовать стереозрение для получения роботом более подробной информации. Наконец ему были добавлены сенсоры глубины, которые могли воспринимать цвет. Постепенно BrickBot научился ориентироваться между разными цветами и брать правильный кирпичик из ящика.

Следующий шаг – позволить системе выйти за пределы получаемых инструкций и  пошагового создания модели. Предполагается, что робот может при этом выбрать последовательность шагов, совершенно отличающуюся от человеческой. И таким образом от сегодняшней работы с маленькими кирпичиками Лего Brickbot сможет со временем перейти к более масштабным промышленным проектам.