Facebook Reality Labs показала новую технологию воссоздания зеркал

Вы, должно быть, помните, как еще в мае компания Facebook проводила обширный ребрендинг, который задел и подразделение Oculus. Тогда было объявлено, что исследовательский отдел компании Oculus Research, был переименован в Facebook Reality Labs.

Ранее отдел уже выпустил несколько интересных публикаций об отслеживании рук следующего поколения без сложной системы камер и о разработке варифокальной VR гарнитуры «Half Dome», однако это, по сути, были наработки его предшественника. На днях же новая лаборатория сделала свое первое крупное объявление после смены названия, представив новую технологию воссоздания зеркал.

При создании реалистической сцены одним из самых сложных элементов являются зеркала и стеклянные панели, которые не только создают реалистичные отражения, но и рассеивают свет в сцене.

Итак, разработчики из Facebook Reality Labs создали новый полностью автоматизированный механизм действий для реконструкции зеркал и других отражающих плоских поверхностей.

Немного подробней о своих наработках представители раскроют на конференции SIGGRAPH 2018 в этом месяце, возможно они также выступят и на Oculus Connect 5.

Рассказывая более детально о своих исследованиях в блоге Oculus, команда подчеркивает прогресс, достигнутый по сравнению с существующими системами 3D сканирования.

«Если вы осмотритесь в секции зеркал в магазине домашнего декора, то вы сразу увидите широкий диапазон форм и размеров − почти никогда не бывает двух одинаковых зеркал!» − говорит научный сотрудник Томас Велан (Thomas Whelan).

«На удивление трудно описать, как именно человек распознает зеркало в отличие от просто окна или дверного проема в другое пространство».

«Нам давно стало ясно, что нужно найти общее решение, которое не делает слишком много предположений о том, какие объекты реконструируются. Сначала мы просто хотели найти решение, которое работало бы в реальных средах, потому что именно там это наиболее необходимо».

«Вначале огромное разнообразие типов и форм зеркал было довольно ошеломляющим», − заметил научный сотрудник Джулиан Страуб (Julian Straub).

«Главной целью была разработка системы, которая могла бы справиться с большинством или всеми формами и размерами зеркал. Затем мы поняли, что при добавлении небольшого дополнительного этапа классификации система также будет работать со стеклянными поверхностями. Это было здорово».

Команда научилась идентифицировать зеркальные поверхности, которые затем могут повторно отобразить сцену с правильной геометрией и отражениями. Это привело к созданию системы захвата, которая включала инфракрасную камеру с захватом глубины, цветную RGB камеру, две камеры SLAM, инфракрасный проектор и специальную цель, которую система могла идентифицировать. Это позволило идентифицировать границу зеркала даже без рамки.

В видео ниже вы сможете найти более практическое и наглядное описание разработки.

Facebook Reality Labs пообещала, что это всего лишь один из способов, с помощью которых лаборатория помогает разработчикам предоставлять более иммерсивный контент. В разработке находятся еще многие интересные технологии.