Отслеживание рук в Quest делает возможным изучение языка жестов в VR

На данный момент нет единого комплексного приложения для изучения языка жестов в виртуальной реальности. Недавно студент факультета компьютерных наук Бернского университета прикладных наук использует базовый трекинг рук для Oculus Quest, чтобы показать, насколько близко мы можем приблизиться к достижению этой цели с помощью современных технологий.

Седрик Жирарден (Cédric Girardin), студент исследовательской группы по компьютерному восприятию и VR швейцарского университета, создал базовое приложение для Quest, которое может распознавать до 23 знаков рук из немецкого алфавита и обучить этому других людей.

Каждый знак распознается и отображается в 3D, затем приложение анализирует положение руки в реальном времени и проверяет, правильно ли пользователь выполняет знак или нет.

Как окончательный проект, Жирарден называет его «VR-Trainingsapplication for finger alphabet». На данный момент он ограничивается немецкой методикой общения жестами рук. Однако автор хочет сделать его с открытым исходным кодом, чтобы любой пользователь мог добавить свою систему жестов. Также для этого существует функция установки любого жеста и его идентификации.

На данный момент любой желающий может бесплатно скачать приложение через платформу SideQuest для Oculus Quest.