Meta*: обсуждаем как сделать так, чтобы Quest работали в движущихся транспортных средствах

UX-дизайнер Эндрю Фокс разместил в X видео пользователя Facebook Нецветаева Олександра, который пытается использовать Quest 3* в режиме сквозного доступа в самолете, но не может этого сделать.

Технический директор Meta* Эндрю Босворт ответил на сообщение, чтобы подвести итог, почему это происходит, и закончил словами, что Meta* «работает над этим».

«Нет, мы используем IMU для локализации объектов относительно движения вашей гарнитуры, поэтому движущиеся транспортные средства представляют собой проблему (когда они ускоряются в любом направлении). Камеры мы тоже используем, конечно, они работают вместе, так как IMU имеет более высокую частоту, но меньшую точность. Работаем над этим».

Люди часто думают, что системы слежения «наизнанку» без маркеров на гарнитурах, очках и контроллерах самослежения используют только камеры, но это не так. Эти системы в равной степени полагаются на инерциальный измерительный блок (IMU) — микросхему, содержащую крошечный акселерометр и гироскоп.

Хотя камеры обычно работают с частотой 30 или 60 Гц, IMU обеспечивает обновления с частотой около 1000 Гц. Однако IMU на самом деле не может обнаружить любое движение — по крайней мере, напрямую. Акселерометр в IMU определяет ускорение относительно силы тяжести, и вы можете взять интеграл ускорения с течением времени, чтобы получить скорость. И если вы затем проанализируете интеграл этих значений скорости с течением времени, вы получите смещение от исходного положения.

Этот процесс называется точным расчетом. Время от времени именно так каждая гарнитура и контроллер отслеживают себя, а оптические компоненты, такие как камеры или лазерные базовые станции, используются только для коррекции совокупной ошибки, вызванной зашумленностью данных IMU. Но в движущемся транспортном средстве, таком как самолет, акселерометр улавливает ускорение самого транспортного средства, думая, что это ускорение гарнитуры, что приводит к внезапному и быстрому позиционному дрейфу.

Неясно, что именно имеет в виду Босворт, говоря, что компания «работает» над этой проблемой. В настоящее время в Quest* можно отключить позиционное отслеживание 6DoF, и гарнитура вернется к отслеживанию только вращения 3DoF, но это также отключает сквозную передачу.

В качестве альтернативы Meta* может работать над тем, чтобы каким-то образом заставить работать позиционное отслеживание в движущихся транспортных средствах, возможно, поручив системе полностью полагаться на изображение с камеры и игнорировать IMU. В прошлом году компания продемонстрировала исследовательский проект, позволяющий Quest Pro* работать в движущемся BMW, но он включал взаимодействие с собственным бортовым IMU автомобиля.

У Apple Vision Pro есть режим путешествия для использования в самолетах, но в настоящее время неизвестно, как именно работает этот режим. Apple лишь заявила, что «стабилизирует изображение».

*Meta признана экстремистской компанией на территории России