По оценкам медиков, в мире насчитывается 285 миллионов людей всех возрастов с нарушениями зрения, из которых 39 миллионов являются слепыми. Стремясь оказать помощь этим людям, Microsoft в 2016 году запустил проект Tokyo — партнерство между исследователями из США, Великобритании, Китая, Японии и Индии для изучения технологий, помогающих людям взаимодействовать с миром. Четыре года спустя проект принес свои плоды с модифицированной версией гарнитуры дополненной реальности Hololens.
Согласно сообщению в блоге компании, исследовательская группа начала с наблюдения за спортсменами и зрителями с различным уровнем зрения во время Паралимпийских игр 2016 года. Они наблюдали за взаимодействиями с другими людьми во время передвижения по аэропортам, спортивным объектам и достопримечательностям. Затем специалисты по машинному обучению из команды Tokyo разработали алгоритмы, работающие на персональном компьютере, подключенном к Hololens.
Светодиодная лента, прикрепленная над полоской камер гарнитуры, отслеживает человека, находящегося ближе всего к пользователю, и становится зеленой, когда этот человек идентифицирован. Это сделано для того, что партнеры или простые прохожие знали, что их заметили. Одна модель компьютерного зрения определяет положение и позы людей в окружающей среде, что обеспечивает ощущение того, где и как далеко они находятся. Другой алгоритм отвечает за анализ кадров с камеры гарнитуры, чтобы узнать людей.
Вся эта информация передается владельцу посредством звуковых сигналов. Например, устройство обнаруживает человека на расстоянии одного метра с левой стороны и воспроизводит щелчок с нужной стороны. Если оно узнает лицо человека, который известен системе, то имя будет названо в наушнике.
Microsoft говорит, что использует упрощенную версию технологию, чтобы помочь слепым и слабовидящим детям развить навыки социального взаимодействия.
