ИИ воссоздает трек Pink Floyd по записям активности головного мозга

Исследователи из UC Berkeley регистрировали электрическую активность участков мозга, когда пациенты слушали песню "Another Brick in the Wall, Part 1" группы Pink Floyd. Используя ИИ, они смогли восстановить песню по записям внутричерепной электроэнцефалографии мозга.

Роберт Найт из Калифорнийского университета в Беркли (UC Berkeley) и его коллеги изучали записи с электродов, которые были хирургически имплантированы на поверхность мозга 29 человек для лечения эпилепсии.

Запись мозговой активности участников велась во время прослушивания композиции "Another Brick in the Wall, Part 1" с альбома "The Wall" (1979). Сопоставив сигналы мозга с песней, исследователи выявили записи с подмножества электродов, которые были тесно связаны с тоном, мелодией, гармонией и ритмом песни.

Затем они обучили ИИ изучать связи между активностью мозга и этими музыкальными компонентами, исключив из обучающих данных 15-секундный фрагмент песни. Обученный ИИ на основе сигналов мозга участников создал предсказание неизвестного фрагмента песни. Спектрограмма трека, сгенерированного ИИ, на 43% совпала с оригиналом.

Исследователи определили область мозга, называемую верхней височной извилиной, которая обрабатывала ритм гитары в песне. Они также обнаружили, что сигналы из правого полушария мозга были более важны для обработки музыки, чем сигналы из левого полушария, что подтверждает результаты предыдущих исследований.

"Для людей с боковым амиотрофическим склерозом или афазией, которым трудно говорить, мы хотели бы иметь устройство, которое действительно звучало бы так, как будто вы общаетесь с кем-то по-человечески, - говорит Найт. - Понимание того, как мозг представляет музыкальные элементы речи, включая тон и эмоции, может сделать такие устройства менее роботизированными".

Инвазивный характер имплантации мозга делает маловероятным использование этой процедуры для неклинических целей, говорит Найт. Однако другие исследователи недавно использовали ИИ для создания песенных клипов на основе сигналов мозга, записанных с помощью МРТ.

Если ИИ сможет использовать сигналы мозга для воссоздания музыки, которую люди представляют себе, а не просто слушают, то такой подход можно будет использовать даже для сочинения музыки, говорит Людовик Белье из Калифорнийского университета в Беркли, член исследовательской группы.

По мере развития технологии воссоздание песен с помощью мозговой активности на основе ИИ может вызвать вопросы о нарушении авторских прав, в зависимости от того, насколько воссоздание похоже на оригинальную музыку, говорит Дженнифер Мейзел из юридической фирмы Rothwell Figg в Вашингтоне.

"Вопрос авторства действительно интересен, - говорит она. - Может ли человек, записывающий мозговую активность, быть автором? Может ли сама программа искусственного интеллекта быть автором? Самое интересное, что автором может быть не тот человек, который слушает песню".

Работа "Music can be reconstructed from human auditory cortex activity using nonlinear decoding models" была опубликована в PLOS Biology.