Hololens может служить в качестве «зрительного протеза»

Благодаря датчикам глубины, очки Hololens обладают пространственным восприятием окружающей среды. Эта способность AR очков может помочь людям с плохим зрением перемещаться по помещениям.

Исследователи из Калифорнийского технологического института и Университета Южной Калифорнии в научной публикации продемонстрировали, как Hololens можно использовать в качестве зрительного протеза.

AR очки создают трехмерное изображение комнаты в режиме реального времени и предоставляют пользователю  информацию о реальной среде посредством звуков и речевых команд.

Например, стены издают шипящие звуки, когда пользователь приближается к ним. Объекты, которые попадают в поле зрения пользователя Hololens, озвучиваются голосовыми командами. Пользователь также может отметить определённый объект, чтобы AR очки издавали звук, когда этот объект будет в непосредственной близости от человека.

Исследователи провели тесты с семью слепыми людьми. Испытуемые должны были выполнить ряд задач без предварительных инструкций и тренировок. Пользователи при помощи Hololens смогли отслеживать и быстро указывать объекты, и даже найти стул в другой комнате. Благодаря AR очкам они также могли избегать препятствий.

Во втором тесте испытуемые должны были пройти от входа в здание до комнаты на втором этаже. Устройство помогало человеку речевыми указаниями. Очки Hololens также предупредили испытуемых о наличии лестницы и подсказали пространственное положение перил. Все семь испытуемых успешно добрались до комнаты на втором этаже.

Для целенаправленной навигации по помещению, в котором пользователи перемещались из точки A в точку B с помощью речевых подсказок, комнату необходимо было просканировать заранее. В будущем эту ситуацию могло бы исправить AR облако, услуга облачного  3D картирования, которая находит AR-устройства в реальном пространстве с точностью до миллиметра. Google, между прочим, уже работает над такой технологией.

Кроме того, очень пригодилась бы технология распознавания объектов, например, посредством машинного обучения. Таким образом, AR очки могли бы сообщать пользователям с плохим зрением, какие объекты находятся в поле зрения.

Между тем, разработчик Hololens Хавьер Давалос уже также работает над аналогичным решением.