Google разрабатывает контролируемую ИИ систему отслеживания контроллеров для VR гарнитур

В настоящее время отслеживание контроллера с шестью степенями свободы (6DOF) неплохо реализовано в проводных VR гарнитурах благодаря использованию датчиков отслеживания положения. Однако для автономных VR гарнитур технология трекинга 6DOF пока недоступна. Поэтому компания Google придумала недорогой поддерживаемый ИИ способ, чтобы интегрировать возможность отслеживания 6DOF контроллера  в автономную гарнитуру.

Подробные сведения о методе были включены в недавний исследовательский документ Google. Для этого система использует две камеры типа «рыбий глаз», которые уже имеются в автономной VR гарнитуре, чтобы дополнительно отслеживать позиции рук и ладоней пользователя.

В плане программного обеспечения система полагается на нейронную сеть, обученную предугадывать неизвестное реальное местоположение контроллера, основываясь на имеющихся сведениях о позиции рук, ладони и контроллера. Для обучения сети использовался набор данных в виде 547 000 пар стереоизображений. Для сбора данных 20 пользователей выполняли 13 движений при различном освещении.

«Наше главное наблюдение заключается в том, что руки и ладони пользователей обеспечивают отличный контекст того, где именно на изображении может находиться контроллер», − писали исследователи Google, − «и являются надежными подсказками, даже когда самого контроллера не видно».

«Для упрощения системы мы используем в качестве источника данных те же камеры мобильных гарнитур для  6DoF отслеживания. В наших экспериментах они представляют собой пару стереофонических монохромных камер типа «рыбий глаз». Нам не нужны дополнительные маркеры или аппаратные средства помимо стандартного контроллера».

В настоящий момент Google может определить позицию контроллера со средней погрешностью 33,5 миллиметров, если системе известна позиция рук и ладоней. В настоящее время система работает при 30 FPS на одноядерном мобильном центральном процессоре и не требует дополнительных светящихся маркеров, чтобы правильно отслеживать местоположение.

Но компания полагает, что она сможет улучшить точность отслеживания системы, а также расширить ее возможности до отслеживания рук без контроллера. Ожидается, что Google расскажет об этом подробнее конференции разработчиков I/O, которая начнется 8 мая.