Meta* и Технический университет Мюнхена превращают фотографии со смартфона в реалистичные 3D-аватары за считанные минуты

Система Avat3r может преобразовать снимки в анимированную 3D-голову за считанные минуты. Создание высококачественных цифровых двойников раньше требовало дорогостоящих студийных установок с несколькими камерами и большой вычислительной мощностью. Avat3r может демократизировать этот процесс, радикально сократив как требования к оборудованию, так и время обработки.

Секретный ингредиент — сделать большие модели реконструкции (LRM) анимированными. Эти модели изучают комплексные 3D-представления человеческих голов из обширных наборов данных многовидового видео. Для повышения качества реконструкции Avat3r объединяет карты положения из DUSt3R с обобщенными картами признаков из Sapiens, базовой модели, разработанной специально для представления человека.

Система устойчива к распространенным ошибкам пользователей. Благодаря обучению на различных выражениях лица она может обрабатывать непоследовательные входные данные, такие как небольшие движения во время фотосъемки или кадры, извлеченные из видео.

Эта разработка вписывается в более широкое видение Meta для фотореалистичных аватаров, технологии, которую они совершенствовали годами.

В настоящее время компания набирает разработчиков iOS с опытом в дизайне пользовательского интерфейса и инструментах для приложений iPhone и iPad. Это намекает на возможную разработку потребительского приложения, которое будет направлять пользователей через процесс сканирования аватара и обеспечивать XR-коммуникацию через будущие гарнитуры Quest.

Разработка Avat3r представляет собой еще один шаг к тому, чтобы сделать фотореалистичные цифровые аватары доступными для обычных пользователей, хотя нам придется подождать и посмотреть, как Meta*  интегрирует эту технологию в свои потребительские продукты.

*Meta признана экстремистской компанией на территории России