Прототип фотореалистичных аватаров от Facebook Reality Labs теперь может работать без камер слежения за лицом, что значительно приближает потенциальное внедрение технологии.
Компания впервые представила работу над «кодек-аватарами» еще в марте 2019 года. На основании машинного обучения изображения генерируются с помощью специализированной установки захвата со 132 камерами. После создания изображения оно управляется прототипом VR-гарнитуры с тремя камерами, снимающими движения глаз и рта.
Однако существовала проблема, заключающаяся в том, что ни одна гарнитура на рынке не имеет подобных камер. Их добавление увеличило бы конечную стоимость продукта.
Теперь разработчики обновили версию программного обеспечения и устранили необходимость в камерах. На их место пришла нейронная сеть, объединяющая данные отслеживания глаз устройства с аудиосигналом микрофона, чтобы сделать вывод о вероятном выражении лица.
На текущий момент оценить возможности технологии можно по видео ниже, которое было снято инженерами.
Разработчики говорят, что сеть может улавливать самые незначительные звуковые эффекты, даже смачивание губ языком. Однако для этого требуется высококачественный микрофон.
Стоит отметить, что тут существует техническая загвоздка. Обучение сети требует установки мультикамерного 3D-захвата и 45 минут записи персонифицированных данных для одного человека. Тем не менее текущие новости являются значительным шагом вперед.
Если текущие проблемы будут решены, то технология может иметь огромные положительные последствия для индустрии виртуальной реальности.
