Система зрения Vision видит, где и как идут пешеходы (+видео)

Мичиганский университет (UM), хорошо известный по разработкам в области технологий автономного вождения, работает над усовершенствованием алгоритма прогнозирования движения пешеходов, который учитывает не только то, что они делают, но и то, как они это делают.

Этот язык тела может иметь решающее значение для предсказания планируемых человеком действий.

Наблюдение за пешеходами и прогнозирование их передвижений является важной частью системы зрения любого автономного транспортного средства. Хотя некоторые компании рекламируют способность видеть и маркировать людей в том или ином диапазоне или в тех или иных условиях, мало кто из них может видеть жесты и осанку.

Эти зрительные алгоритмы могут быть такими же простыми, как идентификация человека и определение количества пикселей, которые смещаются за несколько кадров, а затем экстраполируются. Но, естественно, человеческое движение немного сложнее.

Новая система UM использует систему из лидара и стереокамер для оценки не только траектории движения человека, но и его позы и походки. Поза может указывать, смотрит ли человек в сторону автомобиля или от него, использует трость, разговаривает по телефону. Походка определяет не только скорость, но и намерение.

Кто-то смотрит через плечо? Может быть, они повернутся или пойдут через ряды машин, стоящих в пробке. Они протягивают руки? Может быть, они сигнализируют кому-то (или, возможно, машине), предлагая остановиться. Эти дополнительные данные помогают системе прогнозировать движение и обеспечивают более полный набор планов навигации и непредвиденных обстоятельств.

Важно отметить, что алгоритм хорошо работает только с несколькими кадрами, возможно, включает в себя один шаг и взмах руки. Этого достаточно, чтобы сделать прогноз, который легко превосходит более простые модели, что является критическим показателем производительности, так как нельзя предположить, что пешеход будет виден в течение нескольких кадров между препятствиями.

Сейчас с этими шумными, малоизученными данными можно сделать не так много, но их восприятие и каталогизация – это первый шаг к тому, чтобы встроить их в систему машинного зрения и сделать неотъемлемой ее частью.