Новая технология от исследователей из Университета Карнеги-Меллон (CMU) использует распознавание звука и вибраций для ведения контекстно-зависимых вычислений.
Система, названная Ubicoustics, добавляет дополнительные биты контекста к взаимодействию смарт-устройств, позволяющие умному динамику понять, что он установлен на кухне, а интеллектуальному датчику поможет узнать, что он находится в туннеле, а не на открытой дороге.
«Умный динамик, стоящий на кухонной столешнице, не может понять, что он находится на кухне, не говоря уже о том, чтобы распознать, чем тут занимается человек,- сказал Крис Харрисон, исследователь Института взаимодействия человека с компьютером из CMU. - Но если бы эти устройства понимали, что происходит вокруг них, они могли бы быть гораздо более полезными».
«Основная идея здесь связана с использованием профессиональных библиотек звуковых эффектов, обычно применяемых в индустрии развлечений, - говорит аспирант Гирад Лапут. - Они правильно маркированы и хорошо сегментированы. Кроме того, мы можем преобразовать и проецировать их в сотни различных вариантов, создавая объемы данных, идеально подходящие для работы с моделями глубокого обучения».
Лапут сказал, что распознавание звуков и размещение их в правильном контексте является сложной задачей, отчасти потому, что часто присутствуют несколько звуков и они могут мешать друг другу. В своих тестах Ubicoustics показал точность около 80%, сравнимую с человеческой, но еще недостаточно хорошую для использования. Усовершенствованные микрофоны, более высокая частота дискретизации и различные архитектуры моделей способны в дальнейшем повысить точность.
Студент Ян Чжан вместе с Лапутом и Харрисоном описывает, как можно обнаруживать вибрации в определенных местах в комнате с помощью лазерной виброметрии. Эта система похожа на оптические устройства, использованные в прошлом веке специалистами КГБ Советского Союза для регистрации вибраций на окнах помещений (в частности посольства США), что позволяло прослушать ведущиеся там разговоры.
Новая система американских студентов использует маломощный лазер и отражатели, чтобы фиксировать состояние и перемещение объектов. Датчик может контролировать множество объектов и прикрепленные к ним бирки без использования электрических сигналов. Это позволило бы одному лазерному монитору контролировать несколько объектов в одной комнате или даже в разных местах.
Данное исследование по-прежнему находится на ранней стадии, но уже обещает появление роботов, которые могут услышать, когда вы моете посуду на кухне и, в зависимости от имеющихся навыков, роботы смогут скрываться или предлагать помощь.
Комментарии
(0) Добавить комментарий