Меtа-исследователи превращают изображения в 3D-среды для VR-гарнитур

Исследователи Meta* демонстрируют, как генеративный ИИ может создавать реалистичные среды виртуальной реальности из одного изображения.

Представьте себе возможность создать 3D-среду из одного изображения, а затем исследовать ее с помощью Meta Quest или использовать ее в качестве домашней среды.

Группа исследователей Reality Labs хочет воплотить эту идею в реальность и представляет новый подход для ее реализации.

Хотя существующие модели генеративного ИИ могут создавать видео из одного изображения, им трудно создавать полностью захватывающие сцены.

Новая инициатива превосходит самые современные методы, основанные на синтезе видео, по нескольким количественным показателям качества изображения, при этом требуя минимальных усилий по обучению и работая на существующих генеративных моделях.

«Наша ключевая идея заключается в том, что задача создания 3D-среды из одного изображения, которая по своей сути сложна и неоднозначна, может быть разложена на ряд более управляемых подзадач, каждая из которых может быть решена с помощью существующих методов», — пишет исследовательская группа Кати Шварц, Дениса Розумни, Сэмюэля Рота Було, Лоренцо Порци и Питера Кончидера.

Результатом является 3D-среда, визуализированная с использованием гауссовых пятен, которую можно просматривать и перемещать в пределах куба со стороной 2 метра на гарнитуре виртуальной реальности.

Метод работает как с синтетическими изображениями, так и с фотографиями. Даже текстовые описания сцены могут использоваться в качестве входных данных для создания высококачественных 3D-сред, подходящих для гарнитур виртуальной реальности.

В исследовательской работе также упоминаются некоторые ограничения и проблемы. Например, трудно расширить область навигации за пределы двух метров, так как это значительно увеличивает сложность задачи. Кроме того, пока не поддерживается синтез сцены в реальном времени. Однако после создания среды гауссовых пятен ее можно будет отображать в реальном времени на устройстве виртуальной реальности, пишет исследовательская группа.

Неизвестно, когда такая технология может быть включена в продукты Quest*. Однако коммерциализация, похоже, не за горами.

*Meta признана экстремистской компанией на территории России