Видение будущего: Facebook работает над реалистичными аватарами

Каждый год во время Oculus Connect главный научный сотрудник Oculus Майкл Абраш рассказывает о своих мыслях касательно виртуальной реальности, ее будущего и способов продвижения индустрии. Обычно его выступления весьма длинные, но всесторонние и их стоит посмотреть.

Раньше все AR/VR исследования и разработки компании проводились под управлением Oculus Research. Затем отдел был переименован в Facebook Reality Labs (FRL). Время от времени компания немного рассказывает о том, над чем работает лаборатория, но теперь ее деятельность станет более прозрачной благодаря новой серии блогов.

Абраш сообщил в блоге Oculus, что это будет годичная серия публикаций о различных проектах FRL. В них будет рассказываться о разных командах отдела и о том, над чем они работают.

«Я считаю, что эти блоги станут маяками на пути к будущему AR/VR», − отмечает Абраш. «В ближайшие месяцы вы увидите глубокое погружение в сферы оптики и дисплеев, компьютерного зрения, аудио, графики, гаптического взаимодействия, мозгового /компьютерного интерфейса и отслеживания глаз/рук/лица/тела».

В блогах будут описаны всевозможные интересные события и достижения, которые совершаются исследовательскими командами. Первое сообщение посвящено реалистичным аватарам и связям, которые люди налаживают в цифровом мире. Проект называется Codec Avatars. Им руководит Ясер Шейх, директор по вопросам исследований Facebook Reality Labs в Питтсбурге.

Стремясь преодолеть проблему расстояния между людьми, проект использует комбинацию технологии 3D съемки и систем искусственного интеллекта, чтобы быстро и просто создавать реалистичные аватары пользователей. Это является ступенью к такому цифровому интерактивному взаимодействию, которое будет таким же обычным и естественным, как в реальном мире.

Команда Facebook Reality Labs в Питтсбурге уже несколько лет работает над этой задачей. Их достижения были продемонстрированы на конференции F8 2018 на примере двух реалистичных цифровых людей, анимированных в режиме реального времени.

С тех пор: «Мы создали две системы для захвата движений, одну для лица и одну для тела», − говорит Шейх. «Каждая из них предназначена для реконструкции структуры тела и считывания движений с беспрецедентным уровнем детализации. Достижение этих вех позволило группе собрать полученные данные и разработать автоматизированный процесс для создания фотореалистичных аватаров».

Система захвата движений FRL, разработанная в Питтсбурге, собирает 180 гигабайт данных в секунду благодаря сотням камер. Каждая камера захватывает данные со скоростью 1 ГБ в секунду. Затем запатентованный алгоритм использует их для создания уникального аватара для отсканированного лица.

Тип технологии, которую использует Facebook Reality Labs, не скоро станет доступным для обычного потребителя виртуальной реальности. Но он, безусловно, демонстрирует шаги, которые необходимо предпринять для дальнейшего развития индустрии.