Исследователи научили робота накладывать хирургические швы с помощью видео

Наложение швов после операции — очень важная, но монотонная задача, когда хирурги должны выполнять простые движения сотни раз. Однако благодаря совместной работе Intel и Калифорнийского университета в Беркли, врачи в будущем смогут переадресовать эту работу роботам.

Команда университета под руководством доктора Аджая Танвани разработала полуавтоматическую ИИ систему глубокого обучения, получившую название Motion2Vec. Она предназначена для просмотра и анализа видеоматериалов, отснятых во время выполнения операций реальными хирургами, когда врачи выполняют наложение швов, а затем для копирования их движений с высокой степенью точности.

«В YouTube выкладывается 500 часов нового материала каждую минуту. Это невероятный объем данных, - сказал доктор Кен Голдберг, который руководит лабораторией Калифорнийского университета в Беркли и консультирует команду Танвани в данном исследовании. - Любой человек может посмотреть видео и разобраться в нем, но робот в настоящее время этого делать не умеет - он просто видит поток пикселей. Так что цель этой работы - попытаться найти смысл в этих пикселях. То есть смотреть видео, анализировать его и... уметь фрагментировать видео в значимые последовательности».

Для обучения своего ИИ команда использовала сиамскую сеть. Эти сети могут ранжировать степень сходства между двумя входными наборами данных, поэтому часто используются для таких задач распознавания изображений, как сопоставление кадров видеозаписи с фотографией водительских прав человека. В данном случае команда использовала сеть для сопоставления видео того, что делает робот-манипулятор с видео движений человека-хирурга. Цель - поднять эффективность робота до уровня, близкого к человеческому.

Система основана на методе машинного обучения с частичным привлечением учителя, поэтому команде понадобилось всего 78 видеороликов из базы данных JIGSAWS, чтобы научить свой ИИ выполнять свою задачу с точностью сегментации 85,5% и средней погрешностью 0,94 сантиметра в точности прицеливания.

Пройдут годы, прежде чем эти технологии появятся в реальных операционных, но Танвани считает, что когда это произойдет, хирургический ИИ будет действовать так же, как Driver Assist на сегодняшних полуавтономных автомобилях. Он не заменить хирургов, но повысит их производительность, взяв на себя несложные, повторяющиеся задачи.