Группа ученых продемонстрировала возможность трекинга тела при помощи камер на контроллерах

Группы ученых и инженеров из университета Карнеги-Меллона создали систему отслеживания тела с использованием камер на контроллерах виртуальной реальности

ContollerPose — прототип решения, использующего две камеры «рыбий глаз», прикрепленные к каждому VR-контроллеру и направленные на пользователя. Специальное программное обеспечение объединяет обзор двух камер, чтобы получить еще более широкое поле зрения. Это необходимо для того, чтобы увидеть большую часть тела. Инженеры утверждают, что оценки позы точны до 8,59 см.

Для обработки камер разработчики испробовали два подхода: потоковую передачу на соседний компьютер и обработку на гарнитуре с помощью Raspberry Pi Compute Module 4 и Google Coral. Использование компьютера было бы дешевле, но вычисление на самом устройстве приводит к меньшей задержке.

Недостатком ContollerPose, по словам ученых, является то, что в 32% случаев при «типичном опыте виртуальной реальности» контроллеры не имеют хорошего обзора тела — оно либо слишком близко, либо сбоку. Возможно будущие системы могли бы интегрировать камеры на контроллерах и на гарнитуре для надежного трекинга всего тела.