Oculus показала, как устроена технология трекинга Oculus Insight

Oculus Quest выглядит, как компактная гарнитура виртуальной реальности, особенно в сравнении с аналогичными устройствами, однако в ее основе гораздо больше технологий, чем может показаться на первый взгляд.

Одна из базовых частей, кстати та же, что используется и в Oculus Rift S — Oculus Insight. Это технология трекинга inside-out, дающая возможность отказаться от внешних датчиков и работающая за счет сенсорных камер на самом устройстве. Таким образом пользователь находится в безопасности, четко ориентируясь в пространстве.

Мы подробно рассказывали об этих устройствах: Oculus Quest и Rift S.

И вот недавно компания раскрыла детали устройства Oculus Insight и то, как же она дает игрокам полные шесть степеней свободы (6DoF).

Отслеживание пользователя по системе inside-out, без подключения дополнительных внешних устройств, считается святым Граалем всего VR. Важно, чтобы игрок не был ограничен пространством одной комнаты, где установлены дополнительные камеры, а мог использовать устройство почти везде. При этом все его движения полностью копировались в виртуальном пространстве, избегая опасностей реального мира.

Внутри Facebook Reality Labs, в прошлом Oculus Research, была собрана инженерная команда для решения данной задачи.

Нашей целью было создание такой системы, которая бы позволила двигаться и исследовать виртуальный мир так же естественно и легко, как и в реальной жизни», — говорит Анна Козьминская, Software Program Manager. «Использование VR-устройств с технологией inside-out трекинга такое же удобное и легкое, как надеть наушники для прослушивания музыки».

В основе решения для трекинга лежит технология под названием SLAM (метод одновременной локализации и построения карты). Она использует алгоритмы машинного зрения для объединения данных нескольких датчиков, фиксируя положение объектов, в нашем случае гарнитуры и контроллеров, и наложения этих данных на цифровую, постоянно обновляемую, карту.

Впервые SLAM был использован в первом прототипе гарнитуры Oculus Santa Cruz, которая была представлена на Oculus Connect 3 в 2016 году. Однако уже тогда было понятно, что технология требует доработки, если компания хочет достичь серьезного уровня точности трекинга, необходимого для потребительских VR-игр. Для этого команда использовала предыдущую работу Facebook SLAM для мобильного AR, экспериментируя с камерами захвата движения OptiTrack для точной настройки алгоритмов машинного зрения системы.

После чего команда протестировала Oculus Insight с камерой OptiTrack с любыми настройками, с целью убедиться, что система будет работать в любом состоянии и корректно фиксировать положение объектов. Тесты показали отличные результаты, пригодные для полноценного коммерческого релиза.

Именно поэтому сегодня можно использовать Oculus Quest в любом месте, будь то гостиная, спальня или коридор. Более того, в скором времени данное решение от Oculus будет использовано для улучшения AR приложений. Так что нас ждет много интересного.