Новая функция SDK «Audio To Expression» от Meta*

Meta* поделилась клипом, демонстрирующим новую функцию Audio To Expression.

Audio To Expression — это встроенная модель искусственного интеллекта, которая генерирует правдоподобные движения лицевых мышц только с помощью аудиовхода микрофона, предоставляя предполагаемые выражения лица без какого-либо оборудования для отслеживания лица.

Более ранний Oculus Lipsync SDK 2015 года предлагал эту возможность только для движения губ, Audio To Expression является его официальной заменой, предлагая также движение щек, век и бровей.

Audio To Expression поддерживает Quest 2*, Quest 3* и Quest 3S*. Он также технически поддерживает Quest Pro*, хотя эта гарнитура имеет датчики отслеживания лица, которые разработчики могут использовать для представления истинных выражений лица пользователя, а не только оценки.

Во встроенном клипе вы можете увидеть резкую разницу между Audio To Expression и старым Oculus Lipsync SDK при одинаковом вводе.

Audio To Expression (слева) против старого Oculus Lipsync SDK (справа) с тем же вводом.
Помимо улучшения реалистичности аватаров, Audio To Expression также может использоваться для лиц NPC, что может быть полезно для небольших студий и независимых разработчиков, которые не могут позволить себе использовать технологию захвата лица.

Собственные Meta Avatars от Meta пока не поддерживают Audio To Expression (они по-прежнему используют Oculus Lipsync SDK), хотя у них есть имитация движения глаз, при которой разработчик помечает каждый виртуальный объект в сцене по уровню его визуальной заметности, а также периодическое моргание для дополнительной реалистичности, поэтому они не ограничиваются только движением губ.

*Meta признана экстремистской компанией на территории России