Разработчики показали видео, которое дает представление о отслеживании рук и окклюзии Vision Pro

Apple Vision Pro, запуск которой ожидается в ближайшие несколько месяцев, будет использовать отслеживание рук в качестве основного метода ввода. В то время как взаимодействия на системном уровне сочетают отслеживание рук с отслеживанием глаз для модальности «посмотри и коснись», разработчики также могут создавать приложения, которые позволяют напрямую взаимодействовать с приложениями, используя руки.

Отслеживание рук в Vision Pro можно разделить на две отдельные функции: «отслеживание рук» и «окклюзию рук».

Hand-tracking — это предполагаемая 3D-модель руки, ее суставов и положения кончиков пальцев. Эта модель используется для определения того, когда к объектам прикасаются и взаимодействуют с ними.

Окклюзия рук связана с тем, как система накладывает вашу настоящую руку на виртуальный контент. Вместо того, чтобы рисовать в сцене 3D-модель виртуальной руки, Vision Pro вырезает изображение ваших реальных рук, чтобы вместо этого показать их в сцене. Это добавит виртуальному контенту еще один уровень реализма.

Разработчик Vision Pro, использующий Unity, опубликовал видео, которое дает четкое представление об отслеживании рук и окклюзии.

Мы видим, что окклюзия рук хорошая, но не идеальная; Когда вы полностью окружены виртуальным контентом и быстро двигаетесь, вы можете увидеть некоторые обрезки по краям рук.

Между тем, фактическое положение отслеживания рук еще больше отстает от окклюзии, где-то на 100–200 мс. Однако невозможно точно определить истинную задержку отслеживания рук Vision Pro.

Разработчики отмечают, что ранние эксперименты с Vision Pro показали очень высокую задержку отслеживания рук, очевидно, по сравнению с последними возможностями отслеживания рук Quest.

Однако рассматриваемое видео представляет собой интеграцию отслеживания рук внутри приложения Unity, а это означает, что производительность и задержка отслеживания могут иметь дополнительные факторы, связанные с Unity, которые отсутствуют при использовании собственных инструментов разработки Vision Pro от Apple. А учитывая, что гарнитура еще не выпущена, а эти инструменты все еще находятся в разработке, мы можем увидеть дополнительные улучшения к тому времени, когда гарнитура действительно поступит в продажу.