Методы взаимодействия в VR

С тех пор как были созданы первые компьютеры, люди искали более интуитивные способы взаимодействия с коммуникационными технологиями. Аналитический движок Чарльза Бэббиджа в начале 19 века использовал перфокарт и рычаги для взаимодействия с первыми компьютерами. Перенесемся на 100 лет вперед. Клавиатура, а затем мышь становятся доминирующим методом ввода в течение нескольких десятилетий. Появление ноутбука, а затем смартфона помогло популяризировать мышь сенсорной панели и сенсорный экран. Но поскольку устройства становятся все более интуитивными и натуралистическими, мы ищем более эффективные методы взаимодействия.

Методы взаимодействия менялись с рычагов и кнопок, до компьютерной мыши и тачпада.  Поскольку размер экрана компьютера уменьшился с 19-дюймового рабочего стола практически до любого экрана (Magic Leap), мы рассмотрим новые методы взаимодействия.

4 уровня взаимодействия

Устройство ввода AR / VR первого поколения.

Устройство ввода первого поколения можно считать датчиком движения, встроенным в головное устройство (HMD), которое преобразует положение головы для изменения сцены.

Система ввода AR/VR второго поколения

VR система буквально и метафорически сделала шаг вперед, когда программное обеспечение смогло взаимодействовать с руками пользователя. В 1990-е годы были введены различные указательные устройства, в частности специальные перчатки, которые позволяют владельцу взаимодействовать своими руками в виртуальном мире. Даже без тактильной обратной связи внедрение беспроводного и камерного отслеживания, такого как Leap Motion for VR и аналогичные технологии для AR, значительно улучшили интерактивность.

Система ввода третьего поколения.

До недавнего времени устройства, отслеживающие направление взгляда были нишей и дорогостоящей технологией, в основном предназначенной для академических целей и исследователей рынка. Технология обеспечивает более реалистичные взаимодействия между пользователем и виртуальными персонажами. Распознавание речи, технология, которая также выиграла от революции смартфонов, может быть добавлена к технологии отслеживания глазами, разрешив такие категориальные команды, как смотреть на дверь и говорить «открыто». Крупнейшие игроки на рынке уже приобрели компании с такими технологиями. Google приобрела Eyefluence, Facebook купила Eye Tribe, а Apple купила SensoMotoric Instruments (SMI).

Устройства ввода VR четвертого поколения.

Лицевые выражения — важный недостающий элемент взаимодействия VR и AR. HMD с подключенными камерами глубины были использованы для визуализации нижней грани (например, двоичного VR), но будет ли этот метод популярным в будущем еще не ясно. Три потенциальные причины, по которым этот подход может быть проблематичным, связаны с i) взаимодействием человека, ii) эргономическими соображениями и iii) соображениями по расчету и времени автономной работы.

Одно из исследований показало, что при взаимодействии лицом к лицу считывается информация из области глаз. Удивление, гнев, отвращение и улыбка требуют видимости областей, которые обычно закрыты HMD.

Хао Ли во время исследований для Oculus включил датчики растяжения в слое материала, который соприкасается с кожей, что получить данные об эмоциях и передать их для обработки в гарнитуру. Будет интересно посмотреть, как это будет  выглядеть при выпуске окончательной версии.

Mindmaze показали свой прототип маски, который требует, чтобы пользователь носил специальную клипсу на ухе и на ее основе будут анализироваться данные.

Samsung также анонсировала разработку под названием «FaceSense», хотя детали по-прежнему ограничены. Решение Emteq называется FaceTeq и представляет собой платформенную технологию, которая использует новые сенсорные методы для обнаружения минутных электрических изменений, которые происходят, когда мышцы лица сокращаются. С каждым изменением выражения лица характерная волна электрической активности изучает кожу, и это может быть обнаружено неинвазивно и без необходимости в камерах.

Оригинал