Консалтинговая группа "Текарт" - центр компетенции "Робототехника".

Подробнее...
Основное меню
Категории новостей
Логотип

Исследователи улучшили навигацию мобильных роботов с помощью больших языковых моделей

Разработанная система направляет роботов с помощью языковых инструкций, снижая потребность в объемных визуальных данных.

Исследователи из Массачусетского технологического института и Лаборатории искусственного интеллекта MIT-IBM Watson разработали метод навигации, который преобразует визуальные представления в текстовые фрагменты, которые затем поступают в одну большую языковую модель, выполняющую все части многоэтапной навигационной задачи.

Вместо того чтобы кодировать визуальные особенности окружающей робота среды в виде визуальных представлений, что требует больших вычислительных затрат, метод создает текстовые подписи, которые описывают то, что видит робот. Большая языковая модель использует эти подписи для предсказания действий, которые робот должен предпринять для выполнения языковых инструкций пользователя.

Поскольку данных подход использует исключительно языковые представления, с помощью большой языковой модели можно эффективно генерировать огромное количество синтетических обучающих данных.

По словам исследователей, хотя этот подход не превосходит методы, использующие визуальные признаки, он хорошо работает в ситуациях, когда для обучения не хватает визуальных данных. Исследователи обнаружили, что объединение языковых данных с визуальными сигналами приводит к улучшению навигационных характеристик.

"Используя только язык в качестве перцептивного представления, мы используем более простой подход. Поскольку все входные данные могут быть закодированы как язык, мы можем генерировать траекторию, понятную человеку", - говорит Боуэн Пан, аспирант кафедры электротехники и информатики (EECS) и ведущий автор статьи, посвященной этому подходу.

Проще говоря, становится возможен сценарий, когда вы скажете вашему роботу отнести грязную одежду вниз по лестнице и положить ее в стиральную машину в левом дальнем углу подвала. Далее робот сам сможет сопоставить ваши инструкции с визуальными наблюдениями и определит шаги для выполнения этой задачи.

Комментарии

(0) Добавить комментарий

Ищите команду разработчиков? Не можете найти робота для своих нужд? Пишите нам!

Для обратной связи укажите ваш E-mail, он будет доступен только администратору. Так вы сможете оперативно узнать, когда ответ на ваш вопрос будет опубликован



Новые комментарии

Университет Иннополис разработал VR-тренажёр для работы с роботами
Зайцев Станислав
20.06.2024
05:27:16
Автор цитаты указан не верно, это сказал Зайцев Станислав, старший инженер-программист ,разработчик центра робототехники вот пруфы https://t.me/Pro_XR/37
Civ Robotics выпустила CivDash - решение для автоматизации нанесения дорожной разметки
Гость
13.06.2024
07:59:49
Круто наверное наносить дорожную разметку из балончика )))