Meta* представила исследования в области фотореалистичной одежды для аватаров

Meta* поделилась новыми исследованиями, направленными на реалистичное моделирование одежды для аватаров.

Разработка построена на базе Codec Avatars, долгосрочного проекта компании по созданию фотореалистичных аватаров, управляемых в реальном времени аппаратными датчиками виртуальной реальности. Вместо традиционного рендеринга идея состоит в том, чтобы использовать серию нейронных сетей для изучения внешнего вида человека, затем система постоянно добавляет визуальные данные о человеке на основе датчиков. Затем они декодируются в геометрию и конечные выходные текстуры.

В последнем исследовании «Deep Photorealistic Appearance for Physically Simulated Clothing» нейронные сети применяются для реалистичной деформации одежды для любого типа телосложения.

В настоящий момент система отображения одежды работает со скоростью 13 кадров в секунду на графическом процессоре NVIDIA RTX 3090. Однако стоит отменить, что область машинного обучения трансформируется невероятно быстро, что уже произошло с алгоритмами синтеза речи, которые работают на стандартных смартфонах, хотя ранее для них также требовалось дорогостоящее оборудование.

Meta-аватары сегодня имеют базовый мультяшный художественный стиль. Их реалистичность со временем уменьшилась, что было необходимым условием для создания сложных сред, вроде Horizon Worlds на автономной гарнитуре Quest 2. Скорее всего в ближайшем будущем мы не увидим полноценную интеграцию Codec Avatars в массовом применении. Вполне возможно, что компания начнет интегрировать разработку для отдельных, специфических приложений, где процесс концентрируется вокруг самого пользователя.