Инженеры Meta показали систему трекинга тела QuestSim для Quest 2 без дополнительных датчиков

Современные пользовательские VR-системы поставляются с гарнитурой и контроллерами, что позволяет следить только за положением вашей головы и рук. При этом ваши локти, туловище и ноги можно оценить с помощью класса алгоритмов, называемых обратной кинематикой (IK). Но подобный подход иногда точен для локтей и редко для ног. С этим связано то, что большинство приложений показывают только верхнюю часть тела. При этом существуют решения в виде дополнительных трекеров, однако массовости они не получили.

В новой статье под названием QuestSim инженеры Meta продемонстрировали систему, управляемую нейронной сетью, которая может оценить правдоподобную позу всего тела, используя только данные встроенного трекинга гарнитуры и контроллеров. При этом никакие дополнительные датчики и трекеры не требуются.

Результирующее движение аватара довольно точно соответствует реальному движению пользователя. Инженеры даже утверждают, что результирующая точность и дрожание превосходят по качеству классический метод при помощи IMU (отдельными трекерами).

QuestSim подойдет только для того, чтобы видеть тела аватаров других людей, но не для того, чтобы видеть собственное туловище и ноги, когда смотришь вниз. Задержка системы составляет 160 мс — более 11 кадров при частоте 72 Гц.

В любом случае видеть движения всего тела аватаров других людей было бы гораздо предпочтительнее, чем те безногие аватары, которые есть сейчас. Однако появится ли данная разработка в виде конечной реализации, пока неизвестно.