Реальный голос человека для его VR аватара

Новая статья, созданная исследователями Disney Research и несколькими университетами, описывает новый подход к процедуре речевой анимации, основанной на глубоком обучении. Система сэмплирует звуковые записи человеческой речи и использует их для автоматического создания соответствующей анимации. Метод может повысить эффективность в анимационных конвейерах и создать более убедительное взаимодействие в VR.

Исследователи из Disney Research, Университета Восточной Англии, Калифорнийского технологического института и Университета Карнеги-Меллона создали документ под названием «Глубокий учебный подход для обобщенной речевой анимации». В статье описывается система, которая была подготовлена ​​с использованием метода «глубокого обучения / нейронной сети». Было использовано восемь часов отснятого материала, чтобы научить систему форме, которую должен приобретать рот во время разговора.

Затем обученная система может использоваться для анализа звука с любого громкоговорителя и автоматического создания соответствующих форм воспроизведения, которые затем могут быть применены к модели лица для автоматической речевой анимации.

Создание речевой анимации, которая соответствует звуковой записи для символа CGI, обычно выполняется вручную квалифицированным аниматором. И хотя эта система не соответствует такой высокой речевой анимации, которую вы ожидаете от крупных производств CGI, ее можно было бы использовать в для проектов с низким бюджетом, которым необходима  речевая анимация, но они не имеют средств для найма аниматора.

В случае с VR, система может быть использована для создания реалистичных социальных аватар в виртуальной реальности, оживляя рот аватара в реальном времени, когда пользователь говорит.

Некоторые социальные VR приложения уже используют различные системы для анимации речи. Oculus предоставляет плагин для синхронизации губ для Unity, который предназначен для анимации речи на основе аудио ввода. Однако, новая система обеспечит большую детализацию и точность в речевой анимации.