Как заглянуть внутрь нейронных сетей

В Лаборатории компьютерных наук и ИИ (CSAIL) Массачусетского технологического института (MIT) разработали способ, позволяющий заглянуть внутрь нейронных сетей и пролить свет на процесс принятия ими решений.

Этот новый процесс является полностью автоматизированной версией системы, представленной группой исследователей два года назад, которая использует людей в качестве рецензентов для достижения тех же целей.

Изыскание метода, который может обеспечить подобные результаты без человека, может стать важным шагом, помогающим понять, почему нейронные сети способны так эффективно действовать. Сегодняшняя технология глубокого обучения оставляет множество вопросов о том, как системы на самом деле добиваются результатов. Сети используют последовательные слои обработки сигналов для классификации объектов, переводят текст и выполняют другие функции, но у нас очень мало сведений о том, как каждый слой сети фактически принимает решение.

Система CSAIL использует доработанные нейронные сети, сообщающие об активности, с которой каждый узел реагирует на данный входной образ, а генерирующие наибольший отклик образы затем анализируются. Этот анализ первоначально выполнялся людьми, которые каталогизировали каждую из найденных в образах визуальных концепций, но теперь эта работа автоматизирована, так что классификация генерируется машинным образом.

Уже сейчас исследование предоставляет интересную информацию о том, как работают нейронные сети. Например, оно указывает на то, что сеть обучена делать цветные изображения из черно-белых, концентрируя значительную часть своих узлов для выявления текстуры в фотографиях. Было также установлено, что сети, обученные распознавать объекты на видео, ориентировали многие из своих узлов для распознавания сцен, при этом сети, обученные для распознавания сцен, делали прямо противоположное, поручая множеству узлов распознавать объекты.

Мы сами не до конца понимаем, как люди думают, классифицируют и распознают информацию. Поэтому проводимое в CSAIL исследование нейронных сетей, которые основаны на гипотетических моделях человеческой мысли, может пролить свет и на вопросы из неврологии.