Facebook значительно улучшает технологию отслеживания лица

Ранее в этом году Facebook продемонстрировал свои исследования в области фотореалистичных аватаров и высококачественного отслеживания движений лица в VR.

На этой неделе компания показала общественности свои наработки: улучшенное отслеживание лица для реалистичных аватаров, которое более точно фиксирует выражения лица пользователя.

Исследователи используют для достижения такого качества отслеживания две гарнитуры. Обычная гарнитура имеет три камеры, обращенные к пользователю. А тренировочная гарнитура оснащена вышеупомянутыми тремя камерами и шестью дополнительными камерами, которые позволяют лучше видеть выражения лица пользователя.

С помощью тренировочной гарнитуры разработчики из Facebook обучают нейронную сеть. Таким образом, создаются модели движений, которые могут затем использоваться для достижения высококачественных результатов с применением обычной гарнитуры. Дополнительные камеры на тренировочной гарнитуре дают фундаментальные данные и мельчайшие детали для создания алгоритмов и моделей. Facebook утверждает, что у хорошо обученной нейросети не наблюдается заметного снижения качества считывания мимики даже при уменьшении количества камер с 9 до 3.

Конечно, Facebook − не единственная VR компания, которая занимается разработкой технологий отслеживания лиц и мимики. На конференции GDC в марте корпорация HTC анонсировала модуль отслеживания губ для своей обновленной гарнитуры Vive Pro Eye. Однако при этом компания подчеркнула, что в настоящее время у нее нет планов по выпуску потребительской версии.

Предстоит еще несколько лет разработок

Когда в марте Facebook продемонстрировал проект Codec Avatars, компания четко обозначила сроки. Разработчики заявили, что технологии понадобится еще несколько лет на то, чтобы созреть для выхода на потребительских гарнитурах. Нет никаких признаков того, что нынешнее продвижение ускорит этот процесс. В прошлом месяце подразделение компании Oculus выпустило две новые VR гарнитуры (Oculus Quest и Rift S), но ни одна из них не имеет камер, направленных на лицо пользователя.

Одной из основных причин приобретения Oculus в 2014 году корпорацией Facebook стала вера в силу социальной виртуальной реальности. Вполне вероятно, что новое поколение гарнитур компании будет включать аппаратное обеспечение для отслеживания мимики и движений лица, даже если поставляемое программное обеспечение еще не сможет похвастать высоким качеством на момент релиза.