Искусственный интеллект и беспилотники помогут находить борщевик Сосновского

Ученые из Сколтеха разработали систему мониторинга для сельского хозяйства, позволяющую производить сегментацию изображения в режиме реального времени на борту Беспилотного Летательного Аппарата (БПЛА) и идентифицировать борщевик.

Результаты исследования опубликованы в авторитетном научном журнале IEEE Transactions on Computers.

Борщевик Сосновского – это вредоносное растение, представляющее опасность для сельского хозяйства, местных экосистем, а также для здоровья человека. Сок растения, попадая на кожу, под действием солнечных лучей вызывает сильнейшие ожоги, лечение которых возможно лишь под пристальным наблюдением врачей в течение нескольких недель. На данный момент распространение борщевика Сосновского стало настоящей экологической катастрофой – он распространился от центральной части России до Сибири, от Карелии до Кавказа. Ежегодно власти страны выделяют колоссальные суммы на борьбу с борщевиком - в 2020 году только в Москве было выделено 350 млн. рублей. Таким образом, борьба с борщевиком является одним из важнейших вопросов современного отечественного сельского хозяйства, экологии и здравоохранения.

В середине ХХ века борщевик планировалось применять в качестве кормовой культуры для скота в связи с высокой скоростью роста растения, его неприхотливостью и быстрым распространением. Однако очень быстро выяснилось, что борщевик не подходит в качестве корма, а его исключительные природные свойства являются серьёзной проблемой. Всего лишь одно растение способно давать до 100 000 семян в год, которые могут распространяться с помощью ветра. А это означает, что даже одно растение, пропущенное при очистке территории от борщевика, способно свести на нет результаты всей работы.

Именно с задачей точной локализации борщевика Сосновского в реальном времени и столкнулись учёные Сколтеха из Центра по научным и инженерным вычислительным технологиям для задач с большими массивами данных два года назад, когда приступили к разработке платформы для мониторинга. «Традиционные методы мониторинга недостаточно эффективны – наблюдение с земли слишком сильно зависит от человеческого фактора, а космическое зондирование хорошо подходит лишь для распознавания больших зарослей. Снимки со спутников имеют недостаточное разрешение, чтобы распознать отдельные растения, а зависимость от погоды и кратности орбиты делают такой метод непрактичным для получения наиболее актуальной информации», - рассказывает первый автор исследования, выпускник аспирантуры Сколтеха Александр Меньщиков.

Входное изображение (слева) и результат работы предложенной полностью сверточной нейронной сети (справа). Кликните для увеличения

Исследователи приняли решение использовать БПЛА, которые позволяют получить самую свежую информацию о распространении растения с высоким разрешением даже когда небо затянуто облаками, а также отказаться от традиционной концепции «сбор данных – создание ортофотоплана – анализ полученного изображения» в пользу обработки данных аэрофотосъёмки прямо на борту БПЛА во время полёта. «Пусть традиционный подход и даёт наиболее исчерпывающую информацию об исследуемой территории, но его эффективность сравнима с обработкой данных на борту для сегментации одного типа объектов – борщевика Сосновского. Кроме того, традиционный метод требует ещё несколько часов для сшивки изображения и его анализа после окончания полёта, в то время как обработка на борту происходит во время полёта, а оператор получает данные о местоположении борщевика в реальном времени на базовой станции. Такой подход позволяет приступить к работам по уничтожению борщевика ещё до завершения полёта БПЛА, а к концу полёта оператор уже располагает всеми данными о местоположении всех растений на обследуемой территории», – поясняет Александр.

Создание такого рода системы мониторинга подразумевает использование БПЛА и компактного вычислительного устройства на борту, которое способно запускать «тяжеловесные» алгоритмы сегментации на основе т.н. полностью свёрточных нейронных сетей (FCNN – Fully Convolutional Neural Networks). Такие нейронные сети позволяют выделять интересующие объекты (в данном случае – борщевик Сосновского) неправильной формы с точностью до пикселя, что в задаче детектирования борщевика даст возможность с точностью распознавать отдельные растения и, тем самым, увеличить шансы уничтожения сорняка на выбранной территории.

Главной проблемой при реализации проекта оказался запуск полностью свёрточных нейронных сетей на маломощных системах, таких как одноплатные компьютеры. Далеко не каждый компьютер имеет достаточно вычислительных ресурсов и далеко не каждый процессор поддерживает операции, необходимые для запуска FCNN. Поэтому ученым пришлось подобрать подходящую архитектуру одноплатного компьютера и оптимизировать нейронную сеть, чтобы она смогла запуститься на нем.

Ортофотоплан с отмеченными на нем районами произрастания борщевика (ярко зелёным цветом). Кликните для увеличения

«В качестве нейронных сетей для исследования были выбраны популярные архитектуры UNet, SegNet, ResNet и модифицированы для использования на одноплатном компьютере. Разработанная система мониторинга была смонтирована на борт БПЛА и исследована в полёте. В результате удалось добиться обследования территории до 28 Га в течение 40 минут при полёте на высоте 10 метров. При этом ни одно растение не было пропущено», – комментирует старший преподаватель Сколтеха Андрей Сомов, научный руководитель проекта.

«Пусть на данный момент скорость обработки 4К изображения нашей системой не очень высок – до 0,7 кадров/сек., однако и при таких показателях система позволяет в несколько раз повысить эффективность локализации вредоносных растений», – добавляет Андрей Сомов.

Подход, лежащий в основе системы мониторинга, имеет огромный потенциал для сельского хозяйства. Разработку Сколтеха можно будет использовать для мониторинга других культур, в том числе с помощью мультиспектральной съёмки для выявления различных вегетативных показателей, оценки здоровья и наличия болезней растений.

Проект по идентификации борщевика – комплексное исследование, над которым трудились магистры, аспиранты и сотрудники трех центров Сколтеха: Центра по научным и инженерным вычислительным технологиям для задач с большими массивами данных, Центра по проектированию, по производственным технологиям и материалам и Космического центра – Александр Меньщиков, Дмитрий Шадрин, Виктор Прутьянов, Даниил Лопаткин, Сергей Соснин, Евгений Цыкунов, Евгений Яковлев и Андрей Сомов.