Система дополненной реальности помогает управлять роботами (+видео)

При том, что роботы становятся все более умелыми и автономными, они по-прежнему могут нуждаться в нашей помощи при выполнении задач в условиях реальной среды. Поэтому робототехники продолжают искать новые способы, позволяющие без длительной подготовки операторам управлять роботами.

Джаред Алан Фрэнк из Университета Нью-Йорка решил обратиться к эффекту дополненной реальности (AR), чтобы разработать интерфейс управления роботом с обычного смартфона или планшета. «Эта система использует для видео съемки деталей сцены встроенную камеру устройства с последующим наложением виртуальных объектов, как и другие приложения AR. Но в этом случае с помощью манипуляций на сенсорном экране вы сможете заставить роботов двигаться или собирать объекты. Вам не потребуется дорогое профессиональное оборудование для анимации (захвата движения), которое обычно используют в подобных проектах», - говорит Фрэнк.

Используя программное обеспечения Apple Xcode, Фрэнк создал приложение, которое может обнаружить роботов и объекты в окружающей среде, а также сформировать виртуальную сетку с координатной системой, чтобы отслеживать эти объекты на экране. Пользователь может манипулировать объектами на экране и смотреть, как роботы выполняют желаемые действия в реальном мире. Команды для роботов отправляются из приложения через Wi-Fi. В качестве основного контроллера робота в текущей версии использован мини-компьютер Raspberry Pi.

Для восприятия окружающей среды Фрэнк размещает визуальные метки на роботах и на объектах, которые должны перемещать роботы. Смартфон или планшет оцифровывает сцену, используя видео камеру, приложение распознает метки и использует эту информацию для отслеживания помеченных объектов. Эти так называемые реперные метки обычно используются в приложениях AR для интеграции физической среды и объектов в виртуальную среду.

Простота эксплуатации является одной из ключевых особенностей этой технологии, еще одним преимуществом является мобильность, подчеркивает Фрэнк. Он хочет проверить возможности этой технологии в условиях производства и на строительных площадках. Возможно, для этого потребуются некоторые доработки используемого программного и аппаратного обеспечения, чтобы убедиться, что они могут работать безопасно и надежно в реальных условиях. Но, прежде всего, его главная цель — сохранить систему простой и доступной, насколько это возможно. Наша задача, говорит Фрэнк, позволить людям управлять роботами с помощью своих карманных устройств.