FingerTrak — браслет для отслеживания рук в VR/AR

Поскольку виртуальная и дополненная реальность неуклонно развивается как в визуальной точности, так и в комфорте самого устройства, исследователи продолжают работать над решениями ввода, которые будут передавать движения более естественно, чем контроллеры. Вчера группа инженеров анонсировала проект FingerTrak, решение на основе браслета, который использует тепловизионные камеры для отслеживания движений рук в 3D, захватывая 20 положений суставов пальцев.

Разработчиками выступила лаборатория SciFi Корнельского университета. FingerTrak использует глубокую нейронную сеть для сшивания входных данных от трех или четырех миниатюрных тепловизионных камер, установленных вокруг запястья, которые «захватывают» все положение руки.

Используя силуэты, генерируемые камерами, сеть оценивает положение кончиков пальцев и суставов. Результаты сложно назвать идеальными, однако они могут быть применены для некоторых форм ввода для VR и AR. Другие потенциальные применения технологии включают управление роботом, перевод на язык жестов и ранее выявление различных заболеваний.

Интересно, что инженеры предполагают, что одного запястья достаточно, чтобы точно отследить всю руку. Что дает возможность разместить сенсорную систему на руке, без необходимости в перчатках или кольцах.

Тем не менее, неясно, сможет ли система быстро отслеживать конкретные жесты. Разработчики отмечают, что средняя угловая ошибка колеблется от 6,46 до 8,06 градуса в зависимости от окружающего фона. Другими словами подобное решение будет отличным дополнением, а не самостоятельным продуктом. Например, интересный вариант возможен в объединении с Oculus Quest.