Google собирается считывать мимику с помощью датчиков отслеживания глаз

В прошлом году ряд компаний, занимающихся разработками в сфере виртуальной и дополненной реальности, подали много интересных патентов (Sony, Oculus, Microsoft и т.д), которые указывают на активное исследование технологий для AR и VR гарнитур следующего поколения. Последним из них является патент Google, в котором описывается система распознавания выражений лица с использованием камер трекинга глаз.

Патент называется «Classifying Facial Expressions Using Eye-Tracking Cameras» («Классификация выражений лица с использованием камер отслеживания глаз»). Технология функционирует за счет применения алгоритмов машинного обучения в сочетании с датчиками отслеживания глаз, чтобы анализировать выражения на лицах пользователей.

Далее в патенте описывается, что система даст пользователям возможность более естественно взаимодействовать друг с другом в виртуальном мире с помощью аватаров. Такие аватары будут не только внешне напоминать пользователя, но также и смогут передавать выражения его лица.

В патенте отмечается, что VR гарнитуры имеют тенденцию скрывать лицо пользователя и поэтому определение выражения лица может быть затруднено, когда пользователь надевает такое устройство. Сообщается, что алгоритм машинного обучения можно обучить распознавать различные выражения, такие как гнев, счастье, удивление и т.д. Кроме того, искусственный интеллект способен выявлять более тонкие выражения, такие как приподнятая бровь.

Отслеживание глаз широко признано в качестве важной составляющей разработки будущих итераций VR аппаратуры. Многие компании сходятся на мнении, что технология трекинга глаз позволит не только создавать более натуральные и точные изображения пользовательских аватаров, но также поможет внедрить новые методы взаимодействия. Не стоит также забывать о технологии фовеального рендеринга, которая позволяет экономить вычислительную мощность за счет менее качественного отображения контента в периферийной области зрения.

Внедрение систем отслеживания глаз в виртуальной реальности может быть использовано для создания более правдоподобных и иммерсивных впечатлений для VR пользователей. Однако на данный момент эта технология еще не интегрирована ни в одну из имеющихся в продаже VR гарнитур.

Патент от Google может поспособствовать внедрению этой инновации в потребительском оборудовании. Но, как и в случае с любым патентом, нет никаких гарантий того, что мы когда-либо увидим его воплощение в готовом продукте.