Исследование выявляет гендерные и расовые нарушения в коммерческих системах ИИ (+видео)

Согласно новому исследованию Массачусетского технологического института и Стэнфордского университета, представленному в этом месяце на конференции по справедливости, подотчетности и прозрачности, три коммерческие программы анализа лиц от известных технологических компаний демонстрируют как индивидуальные, так и гендерные предвзятости.

В экспериментах исследователей процент ошибок трех программ в определении пола светлокожих мужчин никогда не был хуже, чем 0,8%. Тем не менее, для женщин с темной кожей число ошибок увеличилось до 20% и более в одном случае и более 34% в двух других.

Эти выводы поднимают вопросы о том, как обучаются и оцениваются современные нейронные сети, которые учатся выполнять вычислительные задачи путем поиска шаблонов в огромных наборах данных. Например, согласно статье, исследователи из одной крупной американской технологической компании заявили, что точность распознавания лиц разработанной ими программы составляет более 97%. Но по набору данных, используемых для оценки, эффективность составляла лишь более 77% для мужчин и более 83% для белокожих людей.

«Что действительно важно в этом методе — это то, как этот метод применяется к другим приложениям, - говорит Джой Буоламвини, исследователь группы Civic Media MIT Media Lab и главный автор в новой статье. - Те же методы, ориентированные на данные, которые можно использовать для определения пола человека, также используются для идентификации человека, когда вы ищете подозреваемого в преступлении или разблокируете свой телефон. И дело не только в компьютерном зрении. Я очень надеюсь, что это привлечет больше внимания к рассмотрению и других различий».

«Это область, где наборы данных оказывают большое влияние на то, что происходит с моделью, - говорит Ручир Пури, главный архитектор системы искусственного интеллекта IBM Watson. - Теперь у нас есть новая модель, которую мы выявили, она намного более сбалансирована с точки зрения точности по сравнению с эталоном. У нас есть полмиллиона изображений со сбалансированными типами, и есть другая основная нейронная сеть, которая намного более надежна».