Исследователи из Facebook Reality Labs хотят сделать возможным точное отслеживание движений рук и пальцев без сложной системы камер. В своей научной публикации они представляют решение, которое использует машинное обучение.
Отслеживание человеческого тела в режиме реального времени с использованием маркеров больше не является технической проблемой. Системы захвата движений уже в течение многих лет используются в кино и игровой индустрии. Однако в случае с захватом движений рук и пальцев в режиме реального времени ситуация отличается.
Одна рука имеет 26 степеней свободы и неограниченное количество возможных позиций. Чтобы правильно считывать их, необходимо много маркеров. Основной проблемой, однако, является машинная обработка множества этих точек.
Это сложно, потому что все отслеживаемые точки находятся в ограниченном пространстве. Если точек слишком много или слишком мало, то компьютер не сможет правильно рассчитать положение руки и пальцев. Кроме того, возникает проблема перекрытия точек, когда вы, например, сжимаете руку в кулак.
Исследовательский VR/AR отдел компании Facebook представляет новый подход к 3D отслеживанию пальцев и рук в режиме реального времени с использованием маркеров на основе искусственного интеллекта.
Исследователи разработали пять перчаток разных размеров, каждая из которых имеет по 19 маркеров. Далее ученые записали широкий диапазон жестов с использованием 16 камер Optitrack и закодировали отдельные маркеры при помощи цвета, чтобы машина могла воспроизвести позицию.
Затем на основе этой базы данных была обучена искусственная нейронная сеть, которая специализируется на анализе изображений.
Огромное преимущество этой системы заключается в том, что достаточно подготовленный ИИ может высчитать пространственное положение рук и пальцев даже из 2D-изображений. Это устраняет необходимость в дорогостоящей системе из нескольких камер для захвата движений.
По мнению исследователей, искусственная нейронная сеть справляется с разными размерами рук и даже с окклюзиями. Она также может распознать жесты, которые не были записаны заранее. Отслеживание в режиме реального времени на современном графическом процессоре происходит на частоте 120 герц.
Разработанные алгоритмы ИИ также могут использоваться для отслеживания движения других частей тела или всего тела.
Исследователи пишут, что технология разрабатывается не для конечного потребителя. Тем не менее, она позволяет заглянуть в будущее и позволяет экспериментировать с новыми формами взаимодействия в VR/AR.
Исследователи явно неохотно рассказывают о том, какие коммерческие VR продукты могут возникнуть из этой технологии. Однако если что и будет создаваться для следующего поколения VR гарнитур, то это будут более простые трекинговые перчатки.
Необходимая для такого отслеживания RGB камера может быть установлена в корпусе устройств. VR гарнитура Santa Cruz имеет четыре таких камеры, а Oculus Rift 2 также может быть оборудована одной или несколькими такими камерами.
При желании вы можете прочитать исследование полностью.
