ИИ и новое исследование Facebook по настоящему «открывают глаза»

Сегодня имеется множество способов коррекции фотографий, начиная с удаления эффекта красных глаз или бликов. Но труднее всего приходится, когда человек в момент съемки моргает и получается на фото с закрытыми глазами.

Однако это может измениться благодаря исследованию специалистов Facebook, которое позволяет очень убедительно заменять на фото закрытые глаза открытыми.

Сложный и весьма изменчивый характер движений глаз серьезно затрудняет замену или создание их на фото с помощью автоматической системы коррекции. Facebook, который, вероятно, имеет больше фотографий моргающих людей, чем любой другой сетевой ресурс, попытался разрешить эту проблему.

Для этого был использован ИИ и «генерирующая состязательная сеть» (GAN - Generative Adversarial Network), которая по сути является системой машинного обучения и пытается обмануть себя, думая, что ее творения являются реальными. Одна часть системы GAN учится распознавать, скажем, лица, а другая постоянно создает образы, которые основаны на обратной связи с распознаваемой частью, постепенно повышая реализм.

В этом случае сеть обучается распознавать и убедительно копировать открытые глаза. Это уже можно сделать, но, как вы можете видеть на примерах, существующие методы оставляют желать лучшего.

Чтобы получить лучшие результаты, исследователи Facebook сделали следующее: они включили «образцовые» данные, показывающие лицо человека с открытыми глазами, из которого GAN узнает не только о том, какие глаза должны подойти человеку, но и как глаза этого конкретного человека сформированы, окрашены и так далее.

Результаты получились вполне реалистичными: не существует рассогласования цветов или очевидного наложения. Более половины опрошенных людей ошибочно принимали фальшивые открытые глаза на фото за реальные или не могли определиться с выбором.

Хотя GAN работает немного странно в отдельных ситуациях, создавая неожиданные артефакты, если у человека глаз частично прикрыт прядью волос, или он не в состоянии правильно воссоздать цвета, но это поправимая проблема.