Искусственный интеллект поможет роботам распознавать предметы на вид и на ощупь

Люди способны без усилий достаточно точно предсказать, каков объект на ощупь, посмотрев на него, и наоборот – потрогать предмет и предположить, как он выглядит.

Тем не менее, для роботов это чрезвычайно сложная задача – именно над ней работают инженеры из Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) Массачусетского технологического института. Ученые взяли за основу механический манипулятор KUKA, который снабдили тактильным сенсором GelSight, разработанным в CSAIL. Данные, полученные датчиками GelSight, помогают алгоритмам искусственного интеллекта выделить закономерности визуальной и тактильной информации.

Для обучения искусственного интеллекта команда записала 12000 видеороликов с 200 объектами, такими как ткани, инструменты и предметы бытового обихода. Видеоролики разделили на кадры, на основе которых система сопоставила тактильные и визуальные данные. Разработчики объясняют, что с помощью видеоролика алгоритм способен прогнозировать тактильное восприятие предмета. Сочетание визуальных и тактильных данных – важная функция для роботов, которым приходится взаимодействовать с разными предметами. На сегодняшний день разработанная в CSAIL система тестируется только в лаборатории, следующий шаг – создать более крупную базу данных, которая позволит роботу уверенно действовать в реальных условиях.