Ученые нашли способ упростить процесс захвата движения для создания VR моделей и голограмм

Исследователи из немецкого Института информатики им. Макса Планка и Швейцарского федерального политехнического института Лозанны придумали способ, чтобы всего одна ручная видеокамера могла реально оцифровывать движения человека.

Создание 3D-реконструкции (к тому же анимированной) только с одной перспективы − это непростая задача: отсутствует полная информация о глубине, почти половина образа снимаемого человека находится вне поля зрения камеры.

Как правило, для захвата движения и создания трехмерной фотографии или видео нужно использовать несколько камер для одновременного захвата образа человека с нескольких углов. Однако, это сложный и дорогой процесс.

Чтобы реалистично оцифровать движения с помощью всего одной камеры, исследователи разработали трехэтапный метод:

Во-первых, нужно обойти человека, который должен быть оцифрован, по окружности 360 градусов с камерой в руке. Во время этого сканирования программное обеспечение фиксирует пропорции человека и высчитывает цифровой скелет. Также анализируются характеристики одежды.

Затем ПО ориентируется на точки сочленения ранее вычисленного цифрового скелета и создает гладкие движения посредством распознания позы. В процессе обработки изображений программе помогает оптимизированная нейронная сеть.

На последнем этапе силуэт оцифрованного человека очищается от «шумов» и текстурируется на основе реальных данных изображения.

Голографическая телефония становится более реальной

По мнению исследователей, анимированные человеческие модели можно затем дополнительно обработать, например, в видеороликах со свободным выбором перспектив. Этот подход явно превосходит предыдущие методы с точки зрения точности и надежности, а также он не нуждается в ровном и однотонном заднем фоне.

Особенно интересными такие цифровые изображения будут в контексте виртуальной или дополненной телефонии. То есть методика предоставляет возможность беседовать с голографической версией собеседника. Так как требуется всего одна камера, этот процесс будет доступен широким массам. Однако основным требованием для успешного внедрения технологии является улучшение инфраструктуры системы связи.

Для создания действительно правдоподобных и приятных на вид цифровых собеседников, технологии пока не хватает реалистичной визуализации и анимации мимики лица. Подробности исследования будут представлены на конференции компьютерной графики Siggraph в августе.