Facebook патентует повязку на руку для отслеживания пальцев в VR

Facebook подал патентную заявку на повязку, которая отслеживает движения пальцев, считывая электрические сигналы внутри запястья пользователя. Для преобразования этих сигналов в положение пальцев используется машинное обучение.

В документации описаны два варианта устройства. В одном из них через запястье посылается активный сигнал. На основании изменений сигнала, проходящего через сухожилия и мышцы руки, можно определить их положение.

В другом варианте активный сигнал не передается. Вместо этого устройство непосредственно считывает сопротивление руки, не подавая зондирующий импульс.

Однако Facebook, похоже, не единственная компания, работающая над этой интересной концепцией. Базирующаяся в Нью-Йорке фирма CTRL-Labs разместила на YouTube видео похожего устройства:

https://www.youtube.com/watch?v=4NMhx5WlpEs

Возможность прямого использования каждого из пальцев привносит в виртуальную реальность совершенно новый уровень интерактивности. Однако пока эта возможность отсутствует практически на всех потребительских VR гарнитурах. Компания Leap Motion представила комплект для отслеживания пальцев для Oculus DK2 еще в 2014 году, но качество отслеживания оставляло желать лучшего.

Facebook довольно давно и активно занимается оптическим отслеживанием пальцев, а также экспериментирует с VR перчатками. Компания HTC анонсировала трекинг пальцев для Vive Pro еще в конце прошлого года, но пока что это решение не было выпущено для широкого потребителя и качество отслеживания в настоящее время неизвестно.

Если описанное в патенте устройство действительно работает, то оно сможет внедрить трекинг пальцев в виртуальной реальности без необходимости выполнять обработку данных от нескольких камер, направленных на руки пользователей. Следовательно, это сэкономит вычислительные мощности и энергозатраты. Кроме того, поскольку такая система не зависит от камер, отслеживание будет качественно работать под всеми углами независимо от ориентации гарнитуры.

Будет интересно посмотреть, какие решения проблемы отслеживания пальцев предложат VR компании в ближайшие годы.