Китайская компания 4DV AI выпустила демоверсию WebXR для объемного видео 6DoF

Китайская компания 4DV AI выпустила демоверсию WebXR объемных 6DoF-видео, созданных из 20 видов камер, и вы можете опробовать ее на своей гарнитуре виртуальной реальности прямо сейчас.

Технология 4DV использует гауссовское разбрызгивание, размещая тысячи цветных пятен (гауссианов) в трехмерном пространстве, чтобы новые точки обзора могли быть реалистично визуализированы. В последние годы гауссовское разбрызгивание сделало для реалистичного объемного рендеринга то же, что большие языковые модели (LLM) сделали для чат-ботов, выведя технологию из дорогой ниши в поставку таких продуктов, как Varjo Teleport и Scaniverse от Niantic.
Хотя в прошлом году Gracia выпустила демоверсию движущихся пятен, этой системе потребовалось шесть минут, чтобы обучить один кадр. 4DV в 30 раз быстрее, обучает секунду видео за это время.

Кроме того, сцены Gracia требуют дорогих и непереносимых студий с десятками камер в сфере вокруг объектов, которые снимаются без большей части фона, в то время как 4DV фокусируется на съемке всей фронтальной дуги сцены примерно с 20 обычных камер с одной стороны. Это все еще далеко от решения «наведи и снимай», но профессиональный видеооператор мог бы легко настроить решение для захвата, подобное этому.

Эффективность данных 4DV AI также впечатляет: каждая секунда отснятого материала занимает около 12,5 мегабайт, что теоретически означает, что при интернет-соединении со скоростью 100 мегабит в секунду на загрузку каждой секунды отснятого материала уйдет секунда.

Результат, как вы можете сами увидеть в демонстрации WebXR, похож на 180° 3D-видео, но с 6DoF, что означает, что вы можете наклоняться, не перемещая всю сцену, как будто она прикреплена к вашей голове.

Чем дальше вы отходите от центральной области перекрытия камер, включая полностью закрытые области, тем больше размытости вы увидите. Реконструкция впечатляет, хотя все еще не идеальна. И все же возможность наклона является серьезным улучшением по сравнению с традиционным иммерсивным видео.

Вы можете попробовать демо 4DV AI WebXR в веб-браузере вашей автономной гарнитуры, такой как Quest, Pico или Apple Vision Pro, или на ПК VR через браузер с поддержкой WebXR, такой как Chrome.

Демо включает серию из восьми 10-секундных клипов, а также несколько статичных сцен. Все сцены также можно просматривать на плоском экране, если ваша гарнитура сейчас не под рукой.