Microsoft и MIT создали ИИ-алгоритм для поиска взаимосвязей между предметами искусства

Исследователи из Microsoft и Массачусетского технологического института (MIT) разработали систему MosAIc для поиска взаимосвязей между предметами искусства из различных культур и эпох.

MosAIc использует глубокое обучение (deep learning) для анализа базы изображений предметов искусства, представленных в Музее Метрополитен (Нью-Йорк) и национальном музее Амстердама Рейксмузеум. Целью ученых было создать алгоритм, который будет подбирать предметы искусства, похожие не только по цвету и стилю, но и по значению и теме. Протестировать то, как он работает, можно тут.

В результате система анализирует не только контуры и цвета на изображении, но и позволяет учитывать при поиске культуру, к которой принадлежит предмет, а также материал, из которого он изготовлен. Таким образом с ее помощью можно отследить процесс культурного обмена между различными эпохами и территориями. Например, на запрос «какой музыкальный инструмент больше всего похож на это изображение бело-голубого платья?» к домашнему пальто, которое носили богатые голландцы в XVII веке, система предложила бело-голубую фарфоровую голландскую скрипку. Обе картинки не только похожи по узору и форме, они также являются наглядной демонстрацией обмена между голландскими и китайскими культурами – об этом говорит использование голландцами фарфора.

В создании алгоритма команда использовала новую структуру данных для поиска изображений, называемую «условным деревом KNN (K-nearest neighbors, k-ближайших соседей)», которая группирует похожие изображения вместе в древовидную структуру. При поиске совпадений система начинает со «ствола» дерева и следует за наиболее перспективным ответвлением, пока не найдет самое близкое изображение.

Исследователей вдохновила выставка «Рембрандт и Веласкес» в Рейксмюсеуме, в рамках которой картины художников, объединенные незаметными на первый взгляд общими чертами, выставлялись парами. Это распространенное явление в искусстве, когда в произведениях из разных периодов времени и частей света можно проследить схожие черты, ставшие результатом культурного обмена. Однако, человеку было бы невозможно проанализировать миллионы картин за тысячи лет и найти в них параллели в темах, мотивах и визуальных стилях. Разработка пригодится не только в искусствоведении, но и в любой сфере, где может быть полезен поиск сходных факторов: гуманитарных науках, медицине и других.