Инженеры Facebook представили систему ввода текста PinchType с отслеживанием рук

Инженеры из Facebook Reality Labs придумали виртуальную клавиатуру для ввода информации при отслеживании рук без контроллера в VR и AR под названием PinchType.

Ввод текста в виртуальной реальности в настоящее время считается нерешенной проблемой. Сидя, пользователи гарнитур, привязанных к компьютеру не могут видеть клавиатуру, а в условиях комнатного масштаба доступ к ней неудобен. Автономные устройства могут вообще ее не иметь.

Один из флагманов среди автономных устройство — Oculus Quest в последнее время значительно улучшил качество системы трекинга рук. Однако, учитывая, что она использует камеры на самом устройстве без датчиков глубины, такая система быстрого набора текста недостаточно надежна.

Три исследователя из Facebook Reality Labs представляют PinchType — прогрессивное решение этой проблемы. Оно работает, назначая каждому пальцу группу букв из стандартной клавиатуры QWERTY. Когда вы прижимаете определенный палец к большому, эта группа букв активируется и вводится.

Далее языковой алгоритм определяет, какое слово вы намеревались ввести, основываясь на каждой группе букв, их сочетании и предыдущем контексте. Подобное решение можно встретить в мобильных телефонах на базе Android, когда ввод текста производится рисованием от буквы к букве.

Исследователи говорят, новое решение обеспечивает среднюю скорость набора текста чуть более 12 слов в минуту (WPM). Для сравнения, этот показатель для QWERTY-клавиатур составляет около 40 WPM или 35 для современного смартфона.

Пока это лишь экспериментальная версия, которая в будущем может перерасти в самостоятельный проект и стандарт для всех продуктов виртуальной и дополненной реальности.