Преобразование широкого спектра сигналов, производимых нашим мозгом, в слова и изображения, которые могут быть легко переданы, является огромным препятствием, с которым сталкиваются нейроинженеры на пути к эффективным интерфейсам мозг-компьютер.
Однако научно-фантастическая идея о возможности мысленно управлять устройствами или общаться с другими людьми постепенно, но верно, приближается к воплощению.
Последние достижения в области технологий машинного обучения позволили ученым использовать массу абстрактных данных. Только в прошлом году группа канадских исследователей раскрыла алгоритм, который может использовать данные электроэнцефалографии (ЭЭГ) для цифрового воссоздания лиц, которые были показаны испытуемому.
Перевод мозговых волн в слова стал еще одной сложной задачей для исследователей, но с помощью алгоритмов машинного обучения в последние годы были отмечены удивительные успехи. Последний шаг, сделанный группой американских нейроинженеров из Колумбийского университета, выявил компьютерный алгоритм, который может декодировать сигналы, записанные в слуховой части коры головного мозга человека, и преобразовывать их в понятную речь.
Исследование сначала собрало данные от пяти страдающих эпилепсией пациентов, которые подвергались нейрохирургической операции. Пациентам были имплантированы в мозг разнообразные электроды, что позволило исследователям записывать комплексные измерения ЭЭГ, в то время как пациенты слушали короткие непрерывные истории, рассказываемые четырьмя дикторами. Из-за необходимости инвазивного характера сбора этих данных, когда пациенты подвергались операции на головном мозге, можно было получить только около 30 минут нейронных записей от каждого человека.
«Работая с доктором Мехтой [нейрохирургом, выполняющим процедуру], мы попросили пациентов с эпилепсией, уже перенесших операцию на головном мозге, выслушать предложения разных людей, в то время как мы измерили закономерности активности мозга, - объясняет Нима Месгарани, старший автор нового исследования. - Эти нейронные модели тренировали вокодер».
Чтобы проверить эффективность алгоритма, систему дали задание декодировать голоса с нуля до девяти, при этом они не были включены в исходные обучающие данные. Когда ораторы произносили цифры, сигналы мозга пациентов записывались и проходили через вокодер. Затем нейронная сеть производит анализ и очищает вывод, сделанный вокодером.
«Мы обнаружили, что люди могут понимать и повторять звуки примерно в 75% случаев, что намного выше любых предыдущих попыток, - говорит Месгарани. - Чувствительный вокодер и мощные нейронные сети представляли звуки, которые пациенты первоначально слушали, с удивительной точностью».
Месгарани говорит, что может пройти не менее десяти лет, прежде чем эта технология станет реально доступной. Однако как доказательство концепции, это новаторское исследование показывает, что сигналы, обработанные слуховой корой человека, могут быть преобразованы в понятную речь.
Комментарии
(0) Добавить комментарий