В Google разрабатывают «большую красную кнопку» для нейтрализации неуправляемого ИИ

Машины с искусственным интеллектом, захватывающие своих создателей, давно стали излюбленным объектом научной фантастики, но быстрое развитие ИИ может таить реальную опасность для людей оказаться на обочине эволюции. Имея это в виду, исследователи из Google DeepMind разработали «большую красную кнопку», которая должна остановить вышедший из-под контроля ИИ, не позволяя ему научиться противостоять такой блокировке.

Выключатель, предназначенный для остановки ИИ, который начинает «хулиганить», предлагается в статье, написанной Лораном Орсеоа из Google DeepMind и Стюартом Армстронгом из Института будущего человечества. Она основана на понятии «возможность безопасного отключения», которая позволяет человеку вмешиваться и останавливать действия ИИ.

Действия ИИ начинаются с процесса, называемого обучением с подкреплением, где его поведение формируется путем поощрения его успехов. Так ИИ распознает окружающую его среду и постепенно узнает, какие действия чаще всего приводят к получению поощрений. Но как и ребенок, он иногда не понимает, что его действия могут навредить себе, другим людям или окружающей среде. Затем, возможно, потребуется вмешательство человека, чтобы вернуть его на безопасный путь. Именно это исследователи называют «нажатием большой красной кнопки».

В качестве примера рассмотрим конкретную ситуацию. Перед роботом поставлена задача: сортировать коробки внутри склада или выходить на улицу, чтобы принести их оттуда. Поскольку последний вариант является более важным, получаемое поощрение за него больше, так робот узнает об одобрении этого действия. Но когда идет дождь, робот будет продолжать работать снаружи, не беспокоясь о повреждениях. В этом случае человеку, возможно, придется нажать на красную кнопку, отключая робота, чтобы перевести его внутрь.

Вместе с тем, человеческое вмешательство изменяет окружающую робота среду и может привести к двум проблемам: робот может посчитать, что люди хотят, чтобы он оставался в помещении, то есть, он может игнорировать более важную задачу. Или может быть того хуже: робот будет продолжать вредное действие, рассматривая прерывание как препятствие, которое он должен постараться преодолеть. Сопротивляясь вмешательству человека, ИИ может даже научиться отключать красную кнопку. Это тревожное намерение.

Решение команды стало своего рода селективной амнезией в программировании ИИ. При вмешательстве человека робот должен думать, что он сам решил изменить свои действия. Эти алгоритмы менее всего предотвращают апокалипсис с роботами, а скорее позволяют убедиться, что машины с ИИ учатся действовать эффективно и безопасно, насколько это возможно.