Facebook превращает реальных людей в управляемых игровых персонажей (+видео)

Группа исследователей из Facebook создала ИИ под названием Vid2Play, который может извлекать пригодные для использования в компьютерных играх персонажи из видеоклипов с играми реальных людей. В дальнейшем ИИ создает высокотехнологичную компьютерную версию игр в формате FMV (Full Motion Video), таких как Night Trap.

Если говорить в целом, нейронные сети могут анализировать случайным образом выбранные видеоклипы с выполняющими определенные действия людьми. Затем ИИ воссоздает этот персонаж и его действия в любой среде, а также позволяет вам управлять ими с помощью джойстика.

Команда использовала две нейронные сети, называемые Pose2Pose и Pose2Frame. Вначале видео подается в нейронную сеть Pose2Pose, предназначенную для работы с определенными типами действий, таких как танцы, теннис или фехтование. Система находит кадры с человеком и выделяет разные позы из внешнего фона. Затем Pose2Frame берет человека вместе с его тенью и любыми объектами в руках и вставляет их в новую сцену с минимальными артефактами. Впоследствии вы можете управлять движением людей, основываясь на позах из видео, используя для этого джойстик или клавиатуру.

Для обучения ИИ потребовалось всего несколько коротких видеоклипов с фехтованием, танцами и игрой в теннис. ИИ мог отфильтровать других людей и компенсировать различные углы камеры. Это исследование напоминает технологию Adobe – «наполнение с учетом содержания» (content-aware fill), в которой также используется ИИ для удаления лишних элементов из видео, таких как туристы или мусорные баки. Стоит отметить, что есть и другие компании, например, NVIDIA, которые также создали свой ИИ, способный преобразовать реальное видео в виртуальные ландшафты, подходящие для игр.

Пока не все в технологии Facebook происходит гладко. Движения немного странные, персонажи выглядят так, как будто играют на льду, есть проблема в 3D-анимации. Кроме того, диапазон движений немного ограничен. Тем не менее, персонажи выглядят довольно реалистично, по сравнению с предыдущими вариантами. Есть надежда на решение проблемы с движением.