Disney разработал технологию качественной подмены лиц для кинопроизводства

Буквально за несколько лет нейронные сети научились крайне правдоподобно заменять лица людей на видео. Теперь, благодаря новым исследованиям Disney Research, подобная нейросетевая технология может стать легитимным и высококачественным инструментом для киностудий, работающих над визуальными эффектами для голливудских блокбастеров.

Одна из самых больших проблем при создании фейковых видео заключается в создании обширной базы изображений человеческих лиц – тысяч различных выражений, которые можно использовать для подмены в исходном видео. Понятно, что чем больше база данных и чем выше качество изображений, тем качественней будет подмена, однако изображения обычно берутся из источников с ограниченным разрешением, т. к. даже 4K видео может выдавать изображения лиц с низким разрешением, учитывая, как часто встречаются маленькие лица в общем кадре снимка.

Таким образом, первый шаг к созданию действительно убедительных дипфейков - начать с высококачественного источника. В своем докладе «High-Resolution Neural Face Swapping for Visual Effects», представленном на Eurographics Symposium on Rendering 2020, исследователи из ETH Zurich и Disney Research Studios подробно описывают несколько инноваций и новых подходов по этому вопросу. Их технология позволяет получать мегапиксельные результаты с достаточным качеством и разрешением для использования в настоящем производстве фильмов.

Новый алгоритм, созданный исследователями, начинается с изменения исходного видеоматериала, облегчающего процесс замены лица. Движение в исходных кадрах слегка стабилизируется и сглаживается для устранения потенциальных проблем, например, дрожащих губ, которые могут позднее сбить процесс замены лица. Исследователи также усовершенствовали ряд других шагов, включая смешивание нового лица с оригиналом посредством улучшенных методов композитинга, чтобы лучше соответствовать общему контрасту. Их алгоритм так же намного лучше справляется с генерацией промежуточных кадров, необходимых для получения более плавной мимики.

Замена лиц не редкость в киноиндустрии и на телевидении; часто случается, что дублеры актеров мельком смотрят на камеру и тогда требуется обширный постпродакшен, чтобы человек на экране выглядел именно так, как должен. Решение этих проблем часто требует повторных съемок или использования умной компьютерной графики и композитинга, что никогда не бывает дешево. Благодаря новому исследованию, уже имеющиеся кадры со съёмки можно было бы использовать для обучения алгоритма, который затем исправлял бы все эти проблемы самостоятельно.