Созданная в Университете Торонто программа получила название «нейронное караоке». Она способна создать по любой цифровой фотографии соответствующее музыкальное произведение. Эта необычная демонстрация свидетельствует о том, что искусственный интеллект (ИИ) способен не только болтать в чатботах и пугать мрачными перспективами.
Мы привыкли думать об ИИ как о технологии, взаимосвязанной с робототехникой. Исследователи из Торонто задались вопросом, а что же ИИ уже может сделать для нас сейчас? Можно вообразить, что специальный канал ИИ на радиостанции будет создавать музыку или принимать заказы на исполнение песен по фотографиям слушателей. Каким образом глубокое обучение сможет сделать жизнь веселее?
Нейронное караоке появилось на основе исследований, направленных на создание программ для создания музыки, стихов и даже танцевальных номеров. Используя музыку в качестве стартовой точки аспирант Ханг Чу обучал нейронную сеть на основе длившихся 100 часов музыкальных программ. После завершения обучения ИИ начал разбираться в музыкальных гаммах и мелодиях, способен был воспроизвести простую мелодию в ритме 120 ударов в минуту. Затем Чу добавил в арсенал электронного композитора струнные инструменты и барабаны.
Но генерируемая компьютером музыка была лишь началом. Команда из Торонто научила программу еще и танцевать. Для этого в течение часа был использован видеоряд игры Just Dance, в котором программа отслеживала человеческие позы и, таким образом, научилась увязывать движения с музыкой. Соответствующим образом подготовленная программа может заставить цифровую фигурку танцевать под созданную ею музыку. Результаты не столь впечатляющие, как у Джона Траволты, но нельзя ожидать слишком многого от одного часового занятия.
Еще один час занятий с Just Dance и 50 часов прослушивания песенной лирики из интернета помогли программе научиться накладывать слова на музыку. Опираясь на слова, которые появлялись, по крайней мере, четыре раза в наборе данных, программа создала словарь из 3390 слов, которые компьютер мог бы связывать друг с другом и музыкой со скоростью одно слово за такт.
На заключительном этапе работы программа обучалась по коллекции картинок и подписей к ним, чтобы узнать, как определенные слова могут быть связаны с визуальными образами и объектами. Когда ИИ дается свежий образ, он может скомпилировать некоторые соответствующие тексты и пропеть их с помощью фонем или звуковых единиц, привязанных к словам в его лексиконе. Если программа выбирает слова, которые не может воспроизвести, она заменяет их на звук «ооох».
В качестве первой демонстрации для генерации праздничной аудиозаписи Чу предложил программе рождественскую сцену. В результате получилась веселая песенка виртуального певца, тональность голоса которого напоминает новогодних эльфов. Будущие обновления программы получат больше инструментов, чтобы создавать более сложные песни и даже выбирать лучшие инструменты.
Сотрудники лаборатории в Торонто полагают, что более совершенные версии этой программы смогут когда-нибудь служить в качестве виртуального тренера для подражания звездам. Но до этого генерируемое компьютером караоке может найти широкое применение в системе домашних развлечений. Вместо того чтобы покупать аппарат с функцией караоке и записанными заранее аудио дорожками, вы сможете создавать свои собственные фонограммы караоке в домашних условиях.
Комментарии
(0) Добавить комментарий