Разработанная система направляет роботов с помощью языковых инструкций, снижая потребность в объемных визуальных данных.
Исследователи из Массачусетского технологического института и Лаборатории искусственного интеллекта MIT-IBM Watson разработали метод навигации, который преобразует визуальные представления в текстовые фрагменты, которые затем поступают в одну большую языковую модель, выполняющую все части многоэтапной навигационной задачи.
Вместо того чтобы кодировать визуальные особенности окружающей робота среды в виде визуальных представлений, что требует больших вычислительных затрат, метод создает текстовые подписи, которые описывают то, что видит робот. Большая языковая модель использует эти подписи для предсказания действий, которые робот должен предпринять для выполнения языковых инструкций пользователя.
Поскольку данных подход использует исключительно языковые представления, с помощью большой языковой модели можно эффективно генерировать огромное количество синтетических обучающих данных.
По словам исследователей, хотя этот подход не превосходит методы, использующие визуальные признаки, он хорошо работает в ситуациях, когда для обучения не хватает визуальных данных. Исследователи обнаружили, что объединение языковых данных с визуальными сигналами приводит к улучшению навигационных характеристик.
"Используя только язык в качестве перцептивного представления, мы используем более простой подход. Поскольку все входные данные могут быть закодированы как язык, мы можем генерировать траекторию, понятную человеку", - говорит Боуэн Пан, аспирант кафедры электротехники и информатики (EECS) и ведущий автор статьи, посвященной этому подходу.
Проще говоря, становится возможен сценарий, когда вы скажете вашему роботу отнести грязную одежду вниз по лестнице и положить ее в стиральную машину в левом дальнем углу подвала. Далее робот сам сможет сопоставить ваши инструкции с визуальными наблюдениями и определит шаги для выполнения этой задачи.
Комментарии
(0) Добавить комментарий