Система VROOM от Microsoft Research сочетает в себе AR-аватары в натуральную величину с роботами

Исследовательское подразделение Microsoft Research представила Virtual Robot Overlay for Online Meetings (VROOM), как способ объединения AR и VR, чтобы принести аватары в натуральную величину на рабочее место человека при помощи роботизированной установки. Создатели VRroom подробно описали эту систему в недавно опубликованной статье. В ней сказано, что целью проекта является возможность для удаленных сотрудников в VR или AR с Hololens чувствовать себя так, как будто они находятся в одном и том же месте.

Поскольку гарнитуры Windows Mixed Reality отслеживают положение и движение головы работника, а он получает 360-градусный обзор окружающей обстановки. Приложение на Unity используется для анимирования аватара.

Также отслеживаются жесты и движения рук, который видят все участники процесса. Система добавляет движение рта во время разговора, а также мигания глазами, что делает аватары более реалистичными. VRoom преобразует 2D-изображение в 3D-аватар, чтобы поместить лицо удаленного рабочего на голову аватара.

Приложение дает VR-пользователю вид от первого лица, так что удаленный работник может видеть движения рук и жесты. Затем аватар может ходить, когда удаленный работник дает команду роботы передвигаться.

«Мы считаем, что будущие итерации нашей системы могут использовать любого управляемого робота с 360-градусной камерой на высоте головы человека», — говорят авторы проекта.

Такое решение отлично подойдет для проведения лекций и выставок, где автор или ученый может «присутствовать» удаленно и показывать на различные объекты, перемещаясь в пространстве.

Разработчики пока показали взаимодействие один на один. Однако в будущем VRoom может быть настроена на работу между несколькими людьми.