Эксперимент Quest 3*: отслеживание рук

Отслеживание рук считается VR-технологией будущего. Но насколько это близко к мейнстриму?
Большинство экспертов сходятся во мнении, что отслеживание рук изменит то, как мы взаимодействуем с VR и MR. Более спорным является то, насколько хорошо сегодня работает отслеживание рук и сколько времени потребуется, чтобы оно завоевало популярность и заменило контроллеры в качестве основного средства ввода.

Некоторые представители отрасли считают, что отслеживание рук полностью изменит отрасль всего за два года, в то время как другие настроены более скептически. Дебаты еще больше усилились после запуска Apple Vision Pro, который, как известно, полагается исключительно на отслеживание глаз и рук.

Между тем, шумиха вокруг устройства утихла с момента его запуска в феврале. Первый пространственный компьютер Apple не изменит индустрию виртуальной реальности моментально, некоторые могут утверждать, что он повысил, а не снизил осведомленность о преимуществах контроллеров, их точном управлении и тактильных ощущениях.

Чтобы отслеживание рук стало основным методом ввода, оно должно быть безупречным и интуитивно понятным для большинства потребителей. В этой статьи мы расскажем как Эстер (имя изменено), ей чуть за 70, и она не имеет опыта работы с виртуальной реальностью, отслеживанием рук или видеоиграми, тестирует технологию.

Эстер поэкспериментировала с отслеживанием рук в Meta Quest 3*  около часа.

Сначала она ознакомилась с руководством по отслеживанию рук Meta Quest*  и сразу поняла концепцию сенсорного ввода, с которой она была знакома по мобильным устройствам, но она не всегда работала так, как она думала. Например, ей приходилось несколько раз выбирать и нажимать на определенные элементы, прежде чем система правильно интерпретировала введенные данные. С другой стороны, она смогла относительно быстро выучить жесты.

«Все было нормально, я не думала, что это очень легко, как только я пару раз увидела, как это работает, мне не составило труда запомнить простые жесты».

Затем она попробовала Vacation Simulator. С 2020 года в VR-игре имеется экспериментальная поддержка отслеживания рук, которая стала регулярной функцией с момента последнего обновления.

В отличие от последнего проекта студии, Vacation Simulator с нуля не разрабатывался для отслеживания рук, что было заметно. Десять минут, проведенные Эстер в ларьке с едой на пляже, были весьма утомительны, и в конце концов она не смогла приготовить даже хот-дог. Большая часть ингредиентов была разбросана по земле.

То, что Эстер хотела сделать своими руками, и то, что игра интерпретировала как взаимодействие, часто были двумя разными вещами. Позже она описала этот опыт как «разочаровывающий», но сказала, что могла бы представить, как вернется в этот мир и получит от него больше удовольствия во второй и третий раз, поскольку она все еще была «новичком» в этой области. Глядя на нее, казалось, что отслеживание рук было скорее помехой, чем помощью для получения удовольствия от игры.

Эстер больше понравилась игра-головоломка «Кубизм», но у нее снова возникли трудности, связанные больше с технологией отслеживания рук, чем с самой игрой. После нескольких попыток ей удалось относительно легко схватить кусочки головоломки пальцами. Освободить их в нужном месте было сложнее, так как гарнитура не всегда улавливала движение и кусочки пазла «прилипали» к пальцам.

Отслеживание рук — это не то, что работает просто так, в какой-то степени этому нужно научиться. Недостаточно просто схватить предмет и отпустить. Вы должны поднять его и отпустить определенным образом. Это общее препятствие для ввода данных с помощью отслеживания рук, которое еще предстоит преодолеть.

Одна из проблем заключается в том, что алгоритмы компьютерного зрения плохо справляются с распознаванием едва заметных движений. Другая причина заключается в том, что система может чрезмерно интерпретировать движения рук как взаимодействие, хотя на самом деле это не так. Разработчик виртуальной реальности Антоний Витилло метко описал это явление как проблему прикосновения Мидаса (жадный Мидас хотел, чтобы все, к чему он прикасался, превращалось в золото.

Отслеживание рук — это пока экспериментальная технология. Энтузиасты виртуальной реальности знают о ее недостатках и знают, как их обойти.