ИИ теперь позволяет подделывать танцевальные движения на видео (+видео)

Искусственный интеллект на поверку оказывается очень способным инструментом, когда дело доходит до манипулирования видео-кадрами с людьми. Разработчики и умельцы находят новые применения для ИИ в этой сфере каждый день. Теперь ИИ считывает чужие с видео-ролика танцевальные движения и переносит их на целевую фигуру в другом видео.

Исследователи из Калифорнийского университета Беркли, разработавшие эту систему, рассказали, что она состоит из нескольких дискретных шагов. Сначала записывается исходное видео, а суб-программа превращает все движения модели в каркасную фигурку. При этом для качественной передачи требуется довольно много видео: около 20 минут со скоростью 120 кадров в секунду. После того, как будет готова каркасная фигура, движения исходной модели передаются на целевую модель (стоит отметить, что разработчики подумали над максимально реальным переносом, поэтому в процессе происходит нормализация пропорций каркаса в соответствии с параметрами целевой модели). Затем алгоритм pix2pixHD превращает движения модели в новый видеоролик, на котором другой человек повторяет движения из исходного ролика

В описании все довольно просто, но есть здесь множество умных технических решений. Например, нужна подпрограмма, которая сглаживает движения каркасных фигур так, чтобы танцоры излишне не дергались, есть также отдельная нейронная сеть, предназначенная для повторения лица объекта, чтобы обеспечить реализм, и т.д.

Существуют также определенные ограничения в программе, например, она не может точно моделировать широкую, свободную одежду, поэтому человек должен носить облегающие вещи. В видео можно увидеть немало визуальных аномалий, подобных моменту, когда суставы целевого и исходного танцоров не соответствуют друг другу, или где ИИ программного обеспечения не смог воспроизвести сложные движения руки.

Тем не менее, это впечатляющая работа. Раньше, чтобы воспроизвести такую манипуляцию с видео, мог потребоваться целый день работы для команды специалистов. Теперь потребуется какой-нибудь источник видео и программное обеспечение с соответствующим ИИ. В ближайшее время стоит ожидать создание на базе этой технологии специального приложения, возможными последствиями которого станет недоверие к видео доказательствам.