Новый метод отслеживания глаз может значительно повысить точность работы VR-гарнитуры

Ученые из Университета Аризоны представили новую технологию отслеживания глаз, основанную на дефлектометрии. В то время как традиционные методы инфракрасного излучателя захватывают около двенадцати точек на поверхности глаза, новая технология собирает данные с более чем 40 000 точек поверхности — все с одного снимка камеры.

Дефлектометрия — это метод 3D-визуализации, который обычно используется для измерения отражающих поверхностей с предельной точностью. Ученые используют экран, отображающий специальные световые узоры, чтобы осветить глаз. Камеры захватывают и анализируют, как эти узоры отражаются от поверхности глаза. Любой из более чем миллиона пикселей может служить отдельным точечным источником света.

Анализируя, как отображаемые узоры деформируются при отражении от поверхности глаза, система создает подробное трехмерное изображение глаза, захватывая информацию как с роговицы, так и с белой области вокруг зрачка.

В испытаниях система достигла точности отслеживания от 0,46 до 0,97 градуса. Тесты с искусственной моделью глаза показали еще лучшие результаты с ошибками всего 0,1 градуса. Университет уже подал заявку на патент на эту технологию и планирует коммерческое внедрение. Сейчас команда работает над интеграцией дополнительных методов трехмерной реконструкции и искусственного интеллекта для дальнейшего совершенствования техники.

Отслеживание глаз имеет огромное значение для XR

Отслеживание глаз имеет решающее значение для развития гарнитур VR и AR. Оно позволяет не только создавать реалистичные аватары, но и использовать интуитивно понятные элементы управления, такие как в Apple Vision Pro.

Эта технология особенно важна для динамического фовеального рендеринга, который определяет, на какой части поля зрения фокусируется глаз, и соответствующим образом распределяет вычислительную мощность. Это может значительно улучшить качество графики.

Однако интеграция отслеживания глаз в автономные гарнитуры VR, такие как Meta Quest, остается сложной задачей. Технический директор Meta Эндрю Босворт объясняет: «Чтобы эффективно использовать динамический фовеальный рендеринг, вам необходимо чрезвычайно точное отслеживание глаз. Интересно, что достижение такого точного отслеживания глаз в настоящее время требует больше вычислительной мощности, чем вы экономите с помощью фовеального рендеринга».

Новый метод дефлектометрии может стать прорывом в этом вопросе. Исследователи продемонстрировали, что как точность, так и достоверность увеличиваются с количеством собранных точек данных. Если этот метод можно будет эффективно реализовать, он может проложить путь к более эффективному отслеживанию глаз, которое будет экономически выгодным даже в мобильных гарнитурах виртуальной реальности.