В последние годы индустрия переживает бум. Создаются сотни стартапов и технические гиганты такие как Google, Apple, Samsung и Facebook, инвестируют в технологию. Несмотря на всю активность в этой сфере, оборудование AR/VR остается относительно сырым. Большинство интерфейсов воспринимают сигналы от движения головы и ручных контроллеров. Графика часто кажется искусственной и может быть негативной для глаз из-за низкого разрешения и низкой частоты кадров. Системы слежения за глазами, которые контролируют движения глаз в реальном времени, обещают изменить это.
https://youtu.be/zhpCu-ZJiu4
Исторически сложилось так, что технология используется для сбора информации для научных приложений, таких как исследования рынка и медицинская диагностика. Потому что люди в первую очередь используют глаза для ориентирования. Глаза могут указать устройству, на что ориентируется пользователь, и как он реагируют. При вычислении отслеживание глаз помогает заложить основу для революции в отношениях между людьми, позволяя центрам управления «разговаривать» друг с другом без кнопок, контроллеров или мыши.
Например, смартфон или монитор ноутбука, который реагирует на движение глаз и словесные команды, более тесно взаимодействует с человеческим разумом, чем устройство, которое требует касания, мыши или клавиатуры. Эволюция Internet of Things (IoT), в том числе бездисковые автомобили и интеллектуальные устройства, основываются на этих типах отношений. Благодаря крошечным мощным компонентам, включая компактные инфракрасные светодиоды (IRED), компании, наконец, интегрируют датчики слежения за глазами в свои продукты. Когда все будет хорошо, эти системы могут позволить виртуальным дисплеям реагировать на естественные, даже подсознательные сигналы от пользователя. Это может стать началом действительно захватывающего виртуального опыта.
Индустрия меняется
В январе 2017 года, FOVE — японский VR стартап, выпустил первую VR гарнитуру отслеживания глаз.
Между тем, множество AR/VR компаний среднего и высшего класса работали над тем, чтобы добавить отслеживание глаз в существующие гарнитуры, а также интегрирования технологии в будущем. Tobii и другие разработчики технологии отслеживания глаз начали лицензирование своих продуктов для потребителей , в это время технологические гиганты Google и Facebook поглотили одни из самых перспективных стартапов.
Растущий энтузиазм для потребителей VR/AR оказывает глубокое влияние на рынок. Уже 9 % подключенного к интернету населения США ожидают покупку VR гарнитуры в следующем году, в то время как 24 миллиона людей во всем мире сделают это к концу 2017 года, согласно данным Parks and Associates. UBI Research ожидает, что к 2021 году общий объем поставок превысит 65 миллионов единиц, а International Data Corporation (IDC) прогнозирует пятилетний средний годовой темп роста в размере 108,3% для гарнитур AR/VR. Только в Китае потребительский рынок VR/AR может достичь $ 8,5 млрд в ближайшие четыре года, сообщает Bloomberg Technology. Между тем, Market Watch считает, что рынок технологий отслеживания глаз достигнет $ 1,4 млрд к 2023 году, в частности, из-за его роли на AR/VR продукты.
Как технология отслеживание глаз поддерживает погружение
Конечная цель для AR/VR — полное погружение, способность доставлять пользователя из реального в виртуальный мир без сенсорного прерывания. Это одно из самых сложных начинаний в истории современных вычислений. Чтобы завершить иллюзию, аппаратное обеспечение должно будет пропустить ручные входы и позволить взаимодействовать с виртуальным миром, как с реальным. Поездка займет время. Вот как технология отслеживание глазами ускорит этот процесс:
- Фовированный рендеринг
Мы воспринимаем визуальные детали в центре нашего поля зрения через часть глаза, ответственную за остроту зрения, расположенную у основания сетчатки. Периферийные объекты, вне фовеального диапазона, кажутся размытыми. Поэтому, использовать ту же самую резолюцию в каждом кадре, как это делают большинство систем AR/VR, в конечном итоге потеря времени. Фовированный рендеринг — процесс цифровой обработки изображений, который имитирует наше зрение, показывая фовеальную цель в высоком разрешении (HD), одновременно снижая разрешение окружения.
Эта техника по существу более щадящая для наших глазах и более практичная для оборудования. Поскольку она уменьшает общее количество пикселей без изменения целостности изображения и значительно снижает нагрузку и энергопотребление. Это освобождает ресурсы, которые могут быть перенаправлены на другие операции, такие как ускорение частоты кадров. В результате пользователь испытывает меньшую задержку и морскую болезнь, в то время как точность воспроизведения улучшается. Видео-демонстрация The Eye Tribe отмечает резкие изменения в контрольных показателях системы, в том числе: загрузка графического процессора (GPU) с 80-90% до 40-30%; тактовая частота: от 1200 МГц до 800 МГц; тепловая мощность (TDP) от 70% до 40%.
- Точное межзрачковое расстояние (IPD)
Пользователь взаимодействует с AR/VR с помощью набора линз, называемых «защитными очками». Они передают трехмерность на дисплее. Если выравнивание находится вне основания, деформации глаз и изображение становятся сплюснутыми и затененными.
Поиск правильной позиции может быть сложной задачей. Длина между зрачками (IPD) колеблется от 5,1 см до 7,7 см у взрослых. Это изменение очевидно при использовании биноклей, микроскопов и телескопов, которые требуют регулировки, чтобы соответствовать IPD зрителя и передавать оптимальные детали и глубину. Большинство гарнитур перекомпенсируются дополнительными широкими очками или ручными регуляторами. Благодаря системам слежения за глазами, которые размещают пользователь внутри устройства, новые продукты могут точно рассчитывать IPD. Правильная подгонка позволяет глазам пользователя расслабиться и полностью задействовать опыт, а также улучшает общее ощущение от дисплея.
- Естественный пользовательский интерфейс (UI)
Когда дисплей реагирует на движения глаз, а не только на положение головы, пользователь получает более естественное поле зрения. Наблюдение глазами может предоставить пользователю возможность выбирать виртуальные объекты, такие как мяч или оружие в игре, или телепортироваться в новое место в виртуальной среде, просто взглянув.
Это устраняет необходимость в знаках, которые загромождают экран и уменьшают энергию, необходимую для навигации. В дополненной реальности интерфейс, ориентированный на глаза, может позволить совершать покупки в магазине не взаимодействуя с сотрудниками.
- Социальный ответ
Глаза — наш первый инструмент общения. Задолго до того, как мы научились говорить, мы воспринимали эмоции через тонкие лицевые движения. Контролируя сигналы глаз, иммерсивное оборудование поддерживает программы, которые распознают и реагируют на пользователя с повышенной чувствительностью. Технология может помочь оживить виртуальных персонажей. Новые аватары могут передавать движения глаз своим человеческим коллегам, привнося новое измерение в видеоигры и другой виртуальный контент.
- Идеальная идентификация
Сетчатка глаза столь же уникальна, как и отпечаток пальца. Благодаря сканированию AR/VR гарнитуры устраняют необходимость в паролях, что делает систему более доступной и безопасной.
- Инновации
Развитие технологий, как правило, ускоряется после крупного прорыва. Теперь, когда FOVE выпустила первую VR гарнитуру с технологией отслеживания глазами, можно предположить, что эти функции скоро станут стандартными в ряде продуктов, от недорогих смартфонов до высокопроизводительных систем.
«Представление о том, что отслеживание глаз будет ключевой частью гарнитур второго поколения разделяет большое количество VR вендоров HMD», — объяснил TechCrunch руководитель Tobii Оскар Вернер. «Это стимулирует развитие технологий и инновации».
Напомним продажи компании удвоились с 2014 по 2016 год, вскоре после того, как компания начала инвестировать в технологию виртуальной реальности.
Чтобы в полной мере воспользоваться изменяющимся рынком, разработчикам аппаратного обеспечения необходимо будет интегрировать системы отслеживания глаз. Технология работает, излучая невидимый инфракрасный (ИК) свет в роговицу. Свет проходит через зрачок незамеченным и отражается от радужной оболочки, показывая край зрачка датчикам камеры. Подергивание глаз, известное как саккады, является одним из самых быстрых движений человеческого тела — глаз может сдвигаться на 0,9 градусов в миллисекунду и инициировать движение в 200 мс. Системы слежения за глазами, используемые в AR/VR, должны соответствовать этому темпу, особенно для улучшенных функций рендеринга, где изображение изменяется с каждым движением глаз.
Помимо мощных карт памяти и крошечных, точных датчиков, отслеживание глаз требует эффективного, легкого источника инфракрасного света. Для этой цели Osram Opto Semiconductors разработала Firefly FH 4055, IRED, предназначенный для отслеживания глаз на ближнем расстоянии (менее 5 см между глазом и датчиком). Светлячок SFH 4055 предназначен для боковой установки, максимального отражения и минимального потребления энергии.
