Oculus патентует использование пленоптических камер для отслеживания глаз

Компания Oculus при Facebook запатентовала технологию отслеживания глаз, которая использует пленоптические камеры (камеры светового поля), интегрированные в гарнитуру. Большинство предыдущих систем трекинга глаз использовали обычные или инфракрасные камеры в сочетании с ИК-подсветкой для освещения.

Камера светового поля отличается от обычной тем, что она фиксирует направление движения света. Эта информация о направлении может использоваться не только для считывания цвета и яркости, но и для понимания глубины изображения и фиксирования трехмерной формы глаза. Зная трехмерную форму, система может точно узнать, где находится зрачок относительно самого глаза. Следовательно, она может дать более точную оценку направления взгляда пользователя, чем на основе двумерных данных о форме зрачка.

Отслеживание глаз может значительно улучшить ощущение «социального присутствия» в многопользовательском VR, но наиболее перспективным вариантом использования является фовеальный рендеринг (подробнее здесь и здесь).

Фовеальный рендеринг в один прекрасный день сделает возможным гораздо более высокое разрешение для VR гарнитуры, которое при этом не потребует дорогостоящих высокомощных видеокарт. Многие эксперты сходятся на мнении, что для будущего индустрии виртуальной реальности жизненно необходимо найти способ качественно реализовать внедрение такого типа рендеринга.

На конференции Oculus Connect 3 в конце 2016 года (видео ниже) главный научный сотрудник Oculus Майкл Абраш рассказывал о проблемах разработки системы отслеживания глаз, достаточно хорошей для фовеального рендеринга. Он заявил, что для того, чтобы такой рендеринг был незаметным для пользователя, потребуется «практически идеальное» отслеживание глаз. Если отслеживание будет отставать хотя бы на долю секунды, то пользователь заметит резкое снижение качества изображения.

Даже сегодня два года спустя ни одна компания пока не смогла добиться такого качества трекинга в потребительском продукте.

В конце сентября этого года на Oculus Connect 5 Абраш заявил, что, по его мнению, такое качество отслеживания глаз станет возможным в течение четырех лет (к 2022 году). Возможно, этот прогноз напрямую зависит от наличия 3D фиксации положения глаза в режиме реального времени с использованием камеры светового поля, как описано в этом патенте.

Если для имплементации отслеживания глаз на достойном уровне действительно будут необходимы пленоптические камеры, то это приведет к более существенному подорожанию аппаратного обеспечения, чем многие надеялись. Однако такая система значительно повысит надежность трекинга.