Google AI обучает ИИ взаимодействию с человеком через настольный теннис

Не смотря на то что ИИ уже превосходит человека во многих настольных и компьютерных играх, Google AI работает над тем, чтобы подобные системы превзошли нас и в настольном теннисе. Пока это выглядит как небольшая разминка на любительском уровне, но с нынешними темпами совершенствования алгоритмов, система может быстро вырости до профессионального уровня.

Проект, названный i-Sim2Real (Iterative-Sim-to-Real), посвящен не конкретно настольному теннису, а скорее созданию роботизированной системы, которая может работать с быстро меняющимся и относительно непредсказуемым поведением человека.

Sim2Real - это способ создания ИИ, при котором модель машинного обучения обучается тому, что нужно делать в виртуальной среде или симуляции, а затем применяет эти знания в реальном мире. Это необходимо, когда для создания рабочей модели могут потребоваться годы проб и ошибок - обучение в симуляторе позволяет провести годы обучения в реальном времени за часы.

Но не всегда можно сделать что-то в симуляторе; например, что если роботу нужно научиться взаимодействовать с человеком? Это не так просто смоделировать, поэтому для начала вам нужны реальные данные. В итоге возникает проблема курицы и яйца: у вас нет данных о человеке, но они нужны для создания робота, с которым будет взаимодействовать человек и генерировать эти данные в первую очередь.

Исследователи Google избежали этого подводного камня, начав с простого и создав петлю обратной связи: i-Sim2Real использует простую модель поведения человека в качестве приблизительной отправной точки и чередует обучение в симуляции с игрой в реальности. На каждой итерации уточняется как модель поведения человека, так и правила игры.

Нет ничего страшного в том, чтобы начинать с неточной приблизительной модели поведения человека, потому что робот тоже только начинает учиться. С каждой игрой собирается все больше реальных данных о человеке, что повышает точность и позволяет ИИ развиваться дальше. Подход оказался настолько успешным, что робот смог провести непрерывный розыгрыш из 340 ударов в партии с человеком, что заняло более 4 минут.

Команда также попробовала другой подход для более целенаправленного поведения, например, возвращать мяч в конкретное место из разных позиций. Опять же, речь идет не о создании совершенной машины для настольного тенниса, хотя это вполне вероятное последствие, а о поиске способов эффективного обучения взаимодействию с людьми, не заставляя их повторять одно и то же действие тысячи раз.