Facebook открывает доступ к алгоритму DeepFocus для более реалистичного варифокального VR рендеринга

DeepFocus − управляемый искусственным интеллектом рендерер от Facebook, который создает реалистичное размытие в режиме реального времени. Алгоритм должен работать с передовыми варифокальными дисплеями. На днях компания Facebook объявила, что DeepFocus выходит с открытым исходным кодом. И хотя прототип компании «Half Dome» будет проприетарным, их ИИ инструмент будет «аппаратно независимым».

Когда вы держите руку перед собой, ваши глаза естественным образом двигаются и приспосабливаются, фокусируясь на вашей руке. Однако в современных гарнитурах виртуальной реальности свет исходит от фиксированного источника, что заставляет ваши глаза перенапрягаться при восприятии близлежащих объектов. Именно для этого разрабатываются варифокальные дисплеи с трекингом глаз. Они делают фиксированное фокусное расстояние переменным, чтобы адаптироваться к положению глаз пользователя в зависимости от того, куда он смотрит в данный момент.

https://www.youtube.com/watch?v=Xp6OlfJEmAo

Это делает общее впечатление от виртуальной реальности более комфортным и иммерсивным. Однако есть еще один нюанс, необходимый для создания более реалистичного опыта, − способность гарнитуры естественно воспроизводить эффект размытости фона при фокусировании взгляда на ближнем объекте. Здесь на помощь приходит DeepFocus.

В исследовании, представленном на SIGGRAPH Asia 2018, компания говорит, что на разработку DeepFocus команду вдохновило осознание той «важной роли, которую играет расфокусировка сетчатки при стимулировании адаптивных реакций, а также для восприятия глубины и физического реализма».

В отличие от более традиционных ИИ систем на основе глубокого обучения, используемых для анализа изображений, DeepFocus обрабатывает визуальные эффекты, сохраняя сверхточное разрешение изображений, необходимое для высококачественной виртуальной реальности.

Алгоритм позволяет добиться более реалистичного вида объектов в варифокальных VR-гарнитурах и даже AR-гарнитурах с дисплеями на основе технологии световых полей. Кроме того, он позволяет уменьшить напряжение глаз, связанное с вергентно- аккомодационным конфликтом.

Компания утверждает, что ее алгоритм доказал свою эффективность на практике и подойдет для использования в большинстве варифокальных AR/VR устройств. Facebook публикует как исходные данные, так и данные об обучении нейронных сетей «для инженеров, разрабатывающих новые системы виртуальной реальности, специалистов по зрению и других исследователей, изучающих визуальное восприятие».

Представляя DeepFocus на конференции Oculus Connect 5, Майкл Абраш из Reality Lab сказал, что Half Dome и DeepFocus − это «только начало для оптики и дисплеев, демонстрирующее то, как ускоряется течение прогресса».