С тех пор как были созданы первые компьютеры, люди искали более интуитивные способы взаимодействия с коммуникационными технологиями. Аналитический движок Чарльза Бэббиджа в начале 19 века использовал перфокарт и рычаги для взаимодействия с первыми компьютерами. Перенесемся на 100 лет вперед. Клавиатура, а затем мышь становятся доминирующим методом ввода в течение нескольких десятилетий. Появление ноутбука, а затем смартфона помогло популяризировать мышь сенсорной панели и сенсорный экран. Но поскольку устройства становятся все более интуитивными и натуралистическими, мы ищем более эффективные методы взаимодействия.
Методы взаимодействия менялись с рычагов и кнопок, до компьютерной мыши и тачпада. Поскольку размер экрана компьютера уменьшился с 19-дюймового рабочего стола практически до любого экрана (Magic Leap), мы рассмотрим новые методы взаимодействия.
4 уровня взаимодействия
Устройство ввода AR / VR первого поколения.
Устройство ввода первого поколения можно считать датчиком движения, встроенным в головное устройство (HMD), которое преобразует положение головы для изменения сцены.
Система ввода AR/VR второго поколения
VR система буквально и метафорически сделала шаг вперед, когда программное обеспечение смогло взаимодействовать с руками пользователя. В 1990-е годы были введены различные указательные устройства, в частности специальные перчатки, которые позволяют владельцу взаимодействовать своими руками в виртуальном мире. Даже без тактильной обратной связи внедрение беспроводного и камерного отслеживания, такого как Leap Motion for VR и аналогичные технологии для AR, значительно улучшили интерактивность.
Система ввода третьего поколения.
До недавнего времени устройства, отслеживающие направление взгляда были нишей и дорогостоящей технологией, в основном предназначенной для академических целей и исследователей рынка. Технология обеспечивает более реалистичные взаимодействия между пользователем и виртуальными персонажами. Распознавание речи, технология, которая также выиграла от революции смартфонов, может быть добавлена к технологии отслеживания глазами, разрешив такие категориальные команды, как смотреть на дверь и говорить «открыто». Крупнейшие игроки на рынке уже приобрели компании с такими технологиями. Google приобрела Eyefluence, Facebook купила Eye Tribe, а Apple купила SensoMotoric Instruments (SMI).
Устройства ввода VR четвертого поколения.
Лицевые выражения — важный недостающий элемент взаимодействия VR и AR. HMD с подключенными камерами глубины были использованы для визуализации нижней грани (например, двоичного VR), но будет ли этот метод популярным в будущем еще не ясно. Три потенциальные причины, по которым этот подход может быть проблематичным, связаны с i) взаимодействием человека, ii) эргономическими соображениями и iii) соображениями по расчету и времени автономной работы.
Одно из исследований показало, что при взаимодействии лицом к лицу считывается информация из области глаз. Удивление, гнев, отвращение и улыбка требуют видимости областей, которые обычно закрыты HMD.
Хао Ли во время исследований для Oculus включил датчики растяжения в слое материала, который соприкасается с кожей, что получить данные об эмоциях и передать их для обработки в гарнитуру. Будет интересно посмотреть, как это будет выглядеть при выпуске окончательной версии.
Mindmaze показали свой прототип маски, который требует, чтобы пользователь носил специальную клипсу на ухе и на ее основе будут анализироваться данные.
Samsung также анонсировала разработку под названием «FaceSense», хотя детали по-прежнему ограничены. Решение Emteq называется FaceTeq и представляет собой платформенную технологию, которая использует новые сенсорные методы для обнаружения минутных электрических изменений, которые происходят, когда мышцы лица сокращаются. С каждым изменением выражения лица характерная волна электрической активности изучает кожу, и это может быть обнаружено неинвазивно и без необходимости в камерах.
