ИИ выбирает ингредиенты и рецепты пищи по фотографиям (+видео)

Работая с Институт компьютерных исследований Катара (QCRI), группа исследователей CSAIL разрабатывает систему ИИ под названием Pic2Recipe, которая по изображению пищи может распознавать использованные ингредиенты и даже способна предложить рецепты похожих блюд.

Информационное пространство интернета является чрезвычайно ценным инструментом, потому что предоставляет специалистам готовый источник слов, изображений и аудио записей для создания разного рода баз данных. В последние годы такие веб-данные после соответствующей индексации и аннотации обеспечили значительный прогресс в создании программного обеспечения для голосовых интерфейсов, распознавания образов и искусственного интеллекта в целом. Но в отношении пищи прогресс все же немного отставал.

Ранее в другом проекте команда CSAIL разработала базу данных «Recipe1M», содержащую свыше 1 миллиона изображений продуктов и алгоритмы, необходимые для их распознавания с извлечением полезной информации. Они добились этого путем подачи информации в нейронную сеть ИИ под названием Pic2Recipe, обученную просматривать изображения и искать закономерности, которые позволили бы установить связь между пищей и рецептами.

Идея заключается в том, что по представленному изображению какой-либо приготовленной пищи Pic2Recipe должна вывести перечень использованных ингредиентов, затем соотнести их с другими изображениями и предоставить подобные рецепты. Есть даже простая онлайн версия, которую любой желающий может использовать, чтобы опробовать технологию.

Пока Pic2Recipe лучше всего работает с десертами, такими как печенье или кексы, в то время как более неопределенные продукты, включая суши, фруктовые напитки и коктейли, представляют трудность при выявлении их состава. Имеются определенные проблемы и с очень похожими блюдами, например, варианты лазаньи.

По заявлению МIT, на следующем этапе работ необходимо настроить систему так, чтобы не ограничиваться распознаванием ингредиентов при определении блюда, например, помидоры могут быть нарезаны или в тушеном виде, и научить отличать разные сорта одного ингредиента, как разные грибы, лук, картофель.

Есть основания предполагать, что Pic2Recipe найдет множество применений. Он мог бы, например, представить выводы об обеденных привычках или суточных потребностях индивида, просто самостоятельно просматривая изображения, не говоря уже о помощи ценителям поварского искусства, желающим в домашних условиях воссоздать ресторанные блюда.