Вполне безобидным представляется этот обман, когда ИИ Google принял двух лыжников за собаку. Но все более нервируют возможности обмана хакерами «умных» систем автономного вождения, которые вместо ребенка могут распознать на дороге полиэтиленовый пакет.
Команда MIT показала, как их агрессивный алгоритм может легко обмануть сервис Google, что приводит к ошибочной классификации собак и всевозможных объектов.
Исследователи из группы LabSix использовали API Google Cloud Vision, который свободно доступен для разработчиков. Они хотят, чтобы их программы имели возможность выполнять «маркировку изображений и лиц, обнаружение ориентиров, оптическое распознавание символов (OCR) и разметку заданного в явной форме содержимого». Но LabSix отмечает, что любой другой сервис компьютерного зрения, который основан на глубоком обучении, например, Amazon Rekognition может быть уязвимым для их методики.
«Одно дело показать, что алгоритм работает при лабораторных настройках, и совсем другое — продемонстрировать его работу против реальных систем, - говорит Аниш Атали, аспирант из MIT. - Основываясь на наших экспериментах, мы были достаточно уверены в возможности взломать Google Cloud Vision».
Метод группы LabSix является «первым агрессивным алгоритмом для настройки «частичной информации», - говорит Джесси Лин, студент-исследователь из MIT. - Наш метод позволяет совершать атаки в реальных условиях, где они ранее были неразрешимыми или очень дорогостоящими».
Результаты исследований LabSix будут представлены на конференции по «Системам компьютерного зрения и распознавания», которая пройдет в штате Юта с 18-22 июня 2018 года. Исследователи не планируют получать прибыль от результатов своей работы, но намерены продолжать демонстрацию вредоносных кодов для систем глубокого обучения, чтобы занимающиеся безопасностью специалисты могли оперативно защищать программное обеспечение систем компьютерного зрения и ИИ.
Комментарии
(0) Добавить комментарий