Роботы учатся правильному отказу от выполнения команд (+ видео)

Исследователи из Лаборатории изучения проблем взаимодействия человека и робота Университета Тафтса занимаются разработкой системы взаимодействия между роботом и человеком, которая даст возможность роботу отказаться исполнять некоторые приказы при наличии достаточных оснований для этого.

Как известно, Три Закона робототехники гласят следующее:

1. Робот не может причинять вред человеку своими действиями или своим бездействием допустить, чтобы ему был причинён вред.
2. Робот должен повиноваться получаемым от людей указаниям, за исключением случаев, когда такие приказы будут противоречить Первому закону.
3. Робот должен защищаться при условии, что это не противоречит Первому и Второму законам робототехники.

Довольно очевидно, не так ли? И верно то, что повиновение людям идет вторым пунктом. Проблема в том, люди зачастую действуют не совсем адекватно. Иногда предписанное по второму закону беспрекословное исполнение, действительно, не самый лучший вариант для робота. Гордон Бриггс и Маттиас Шутц из «Лаборатории изучения проблем взаимодействия человека и робота» в Университете Тафтса, пытаются выяснить, как можно разработать для роботов механизмы отказа от выполнения команд, когда они имеют основания для этого.

В лингвистической теории есть понятие условия успешности речевого акта (т.н. условие Felicity). Условия, соблюдение которых необходимо для признания речевого акта уместным, называются условиями успешности речевого акта. Условия Felicity отражают ваше понимание и способность на самом деле выполнять это действие, а не просто знать, что означают слова. В отношении роботов использование принципов этого условия, необходимого для выполнения задачи, может выглядеть следующим образом:

1. База данных: Известно ли мне, как сделать Х?
2. Реальная возможность: Действительно ли я в состоянии выполнить X сейчас? Могу ли я в обычных условиях выполнить X?
3. Приоритетные задачи и сроки: В состоянии ли я делать Х прямо сейчас?
4. Социальная роль и обязанность: Должен ли я, исходя из моей социальной роли, выполнять X?
5. Нормативная допустимость: Исполнение Х не нарушает никаких нормативных принципов?

Достаточно легко понять первые три условия успешности речевого акта, но давайте кратко рассмотрим четвертое и пятое. «Социальная роль и обязанность» просто сверяет, будет ли робот полагать, что дающий команды человек имеет такие полномочия. «Нормативная допустимость» - это сложный для понимания способ сказать, что робот не должен делать то, в чем он видит опасность или более точно, робот может сделать что-то, если он не знает, что это опасно.

Теперь давайте посмотрим, как все это действует на практике, при реальных взаимодействиях между людьми и роботами. Основная задача здесь заключается не только в том, чтобы роботы знали, когда они должны (или не должны) следовать указаниям, но также обеспечить программную структуру, позволяющую роботу четко сообщать о причинах неисполнения указания. Это важно, потому что позволяет человеку давать дополнительные команды, которые могут удовлетворять условию Felicity, первоначально вызвавшему отказ.

Вот простой пример взаимодействия, где робот отказывается выполнить команду «Идти вперед», поскольку она не соответствует нормативному принципу (робот «знает», что он может упасть со стола и получить повреждение). Но сообщение об этом от робота позволяет человеку изменить команду, дополнив ее для того, чтобы робот «почувствовал» свою безопасность:

Остается надеяться, что в программу включена директива, позволяющая не доверять человеку в следующий раз, после неудачного исполнения с падением в данном случае.

В другом случае стоящему перед препятствием роботу предлагается идти вперед. После отказа робота, ему уточняют, что препятствие легко преодолимо. После чего он бодро преодолевает падающие под его напором пластиковые блоки:

Другой пример показывает робота в подобной ситуации, за исключением того, что он отвергает команду, когда между человеком и робот нет соответствующих социальных отношений:

Здесь используются второй и третий законы робототехники, так как робот игнорирует приказы от человека, когда эти приказы могут привести к повреждению робота.

Мы создаем опасный прецедента, который может обречь человечество? Да, пожалуй. Но не реалистично ожидать, что роботы когда-нибудь будут беспрекословно подчиняться командам любого человека, с которыми они вступают в контакт. Если бы мы попытались сделать это с компьютерами и программным обеспечением, то это могло бы привести к огромным и разрушительным последствиям. А настоящее и будущее робототехники ничем не отличается в этом плане.