Исследователи Сбера представили инструмент для оценки долгосрочных прогнозов ИИ-моделей

Учёные Центра практического искусственного интеллекта Сбербанка представили первую открытую платформу для оценки способностей нейросетей к долгосрочному прогнозированию событий.

Бенчмарк HoTPP (Horizon Temporal Point Process) и новая метрика T-mAP (Temporal mean Average Precision) позволят объективно измерять, насколько хорошо искусственный интеллект предсказывает активность человека на заданном горизонте времени. Статью о проведённом исследовании принял к публикации авторитетный научный журнал Neurocomputing (Q1).

Покупки, транзакции, визиты к врачу, действия в интернете складываются в уникальные цепочки. Современные ИИ-системы хорошо угадывают только ближайший шаг. Однако реальная ценность для человека и бизнеса, как отмечают исследователи Сбера, кроется в способности заглянуть дальше — предугадать, что произойдёт через неделю или месяц. Раньше у науки не было единого инструмента, чтобы проверить эту способность у разных моделей.

Бенчмарк HoTPP — «измерительная линейка» для долгосрочных прогнозов. Он работает с данными из разных сфер: финансов, электронной коммерции, медицины. Учёные также создали новую метрику T-mAP, которая оценивает точность предсказания одновременно по двум параметрам — типу будущего события и времени его наступления. Это даёт полную картину качества работы модели.

Исследование показало, что сложные нейросетевые архитектуры иногда предсказывают долгосрочные цепочки событий не точнее, чем простые статистические методы. Это указывает на фундаментальные ограничения текущих подходов и необходимость искать новые идеи. Ещё один важный итог — значительное ускорение вычислений. Оптимизация алгоритмов для графических процессоров сделала обучение и работу моделей в десятки раз быстрее.

Разработка Сбера поможет банкам и финтех-компаниям лучше прогнозировать транзакционную активность клиентов. Ретейлеры и логисты смогут точнее планировать товарные запасы, понимая не только то, что именно купят люди, но и когда они это купят. В здравоохранении технология позволит анализировать последовательности визитов к врачу для ранней диагностики.

Андрей Савченко, научный директор центра практического искусственного интеллекта Сбербанка: «Прогнозирование событий — одна из ключевых задач искусственного интеллекта. Часто нам нужно предсказать не одно следующее действие, а целую траекторию на долгом горизонте. До сих пор у нас не было адекватных инструментов, чтобы сравнивать разные модели в таком сложном сценарии. Наш бенчмарк и метрика заполняют эту пустоту. Они позволяют объективно оценить, какая ИИ-модель действительно хорошо "видит" будущее, а какая — лишь удачно угадывает ближайший шаг. Особенно важно, что мы выявили проблему "схлопывания" предсказаний: сложные модели иногда выдают однотипные прогнозы, игнорируя редкие события. Это открытие задаёт вектор для новых исследований. Мы надеемся, что наша открытая платформа станет общим стандартом для научного сообщества и поможет быстрее создавать ИИ, который понимает многогранность и неопределённость мира».