Система искусственного интеллекта для Minecraft: команда МФТИ победила в международном конкурсе MineRL

Сотрудники лаборатории когнитивных динамических систем МФТИ стали победителями соревнования MineRL. Они предложили новый метод обучения с подкреплением на основе демонстраций, с помощью которого можно быстро и эффективно решать иерархические задачи в среде Minecraft: поиск ресурсов и создание новых инструментов.

Использовать разработанные алгоритмы можно будет при создании автономных мобильных роботов и роботов-манипуляторов. Конкурс прошел в рамках международной конференции по нейросетевым технологиям Neural Information Processing Systems-2019.

Обучение с подкреплением — один из перспективных методов искусственного интеллекта, который демонстрирует поразительные успехи в игровых и робототехнических задачах, но требует большого количества вычислительных ресурсов и времени обучения. Сотрудники и стажеры лаборатории когнитивных динамических систем МФТИ и Института проблем искусственного интеллекта ФИЦ ИУ РАН — Алексей Скрынник, Эрмек Айтыгулов, Алексей Староверов, Кирилл Аксенов, Василий Давыдов и Александр Панов — предложили новый подход с использованием механизма забывания некорректных экспертных демонстраций решения поставленной задачи.

«Команда лаборатории достигла отличного результата, достойно представив Физтех и Россию на международной конференции. Игровая среда Minecraft, в которой мы смогли продемонстрировать интеллектуальное поведение агента, реализует большое разнообразие разных типов взаимодействия человека со сложной, непредсказуемой внешней средой. В этом плане она является отличным симулятором, приближенным к реальности, и для нее намного сложнее разрабатывать методы обучения поведения, чем для таких сред как Go, Dota или Starcraft. Предложенный нами метод открывает новые пути для применения обучения с подкреплением уже в прикладных задачах, таких как беспилотный транспорт и роботы-манипуляторы», — сказал заведующий лабораторией когнитивных динамических систем Центра когнитивного моделирования Александр Панов.

Соревнование длилось пять месяцев, всего было два раунда. В первом команда Физтеха заняла третье место, во втором — обошла девять финалистов и заняла первое место с существенным отрывом. В конкурсе участвовали более 40 команд со всего мира.

«MineRL — это соревнование для интеллектуальных алгоритмов, а не вычислительных возможностей. До этого многие достойные результаты в области искусственного интеллекта достигались за счет “грубой силы” — большого количества GPU и CPU для обучения сложных систем, — добавил директор Физтех-школы прикладной математики и информатики Андрей Райгородский. — Как только в требования добавилась необходимость разработки вычислительно-эффективных методов, шансы всех команд уравнялись. В таких условиях наши ребята оказались лучше всех, опередив команды из США, Китая, Японии, Финляндии, Германии и других стран. Это в очередной раз подтверждает, что Физтех в целом и ФПМИ в частности — мировые лидеры в области искусственного интеллекта. И это на самом деле закономерно, потому что в Физтех-школе построена уникальная система взаимодействия академических базовых организаций и индустриальных партнеров. В данном случае я бы отметил крайне удачную стыковку ИСА РАН и АймТеха на площадке ФПМИ».

Соревнование организовано Microsoft и Carnegie Mellon University, в организационный и программные комитеты входили Катя Хофманн (Microsoft Research), Руслан Салахутдинов (Carnegie Mellon University), Сергей Левин (UC Berkeley) и Челси Финн (Google Brain and UC Berkeley).