Инженеры Facebook показали ввод текста в VR со скоростью физической клавиатуры

Инженеры Facebook разработали прогностическую модель движения для отслеживания рук на основе маркеров, которая может позволить наборщику текста работать со скоростью и точностью, соответствующей физической клавиатуре, только постукиванием пальцев по плоской поверхности.

Компания выпустила интересный материал в собственном блоге, где даны пояснения по этой разработке.

«Чтобы поддерживать полноценную сенсорную печать без физической клавиатуры и тактильной обратной связи отдельных клавиш, команда должна была понять неустойчивые шаблоны набора текста. Мы приняли методы статистического декодирования из автоматического распознавания речи, там, где оно использует акустическую модель для предсказания фонем из звуковых кадров.

Вместе с этим применяется модель для предсказания нажатий клавиш из движения рук. Мы можем предсказать, что люди намеревались напечатать, несмотря на неоднозначное движение руки. Используя этот новый метод машинистки достигали скорость в 73 слова в минуту с частотой ошибок 2,4% на плоской поверхности.».

«Такая системы отслеживания рук на основе маркеров все еще находится исключительно на стадии исследования и в настоящее время не входит в дорожную карту продукта. Если говорить про Quest 2, то мы сфокусировались на поддержке отслеживаемой клавиатуре, которую мы показали в Infinite Office.»

В конечном итоге технология ввода текста при помощи трекинга рук и пальцев находится на стадии разработки и тестирования. Если эти результаты окажутся положительными, то мы можем увидеть эти результаты в следующих поколениях VR-гарнитур.