Facebook: Oculus Quest − конец первой главы VR, дальше всё станет намного интереснее

Глава отдела VR/AR дизайна в Facebook Джон Лакс заявил в Твиттере, что Oculus Quest − это конец первой VR главы компании. Также он подчеркнул, что дальше всё станет лишь интереснее.

Твит Лакса лайкнули два других высокопоставленных руководителя Facebook, Эндрю Босуорт (вице-президент AR/VR) и Мария Фернандес Гуахардо (руководитель отдела предпринимательства, AR / VR).

Facebook считает, что Quest, Go, Rift и Rift S являются VR гарнитурами первого поколения. Недавно выпущенный Quest не считается представителем нового поколения, скорее он просто переносит опыт первого поколения в автономный форм-фактор.

I appreciate @fredwilson's measured take on building technology over the long haul. Quest is the end of our first chapter of VR. What's next is where things really get interesting. https://t.co/xa3gdcQo0S

— Jon Lax (@jlax) July 2, 2019

Компания регулярно демонстрирует свои исследования и наработки в сфере виртуальной реальности следующего поколения. Многие из вакансий содержат упоминания «платформ потребительских продуктов следующего поколения, которые обеспечат пользователям революционный опыт в симулированной реальности».

Давайте кратко рассмотрим исследования и патенты компании, которые дают нам подсказку о том, что Лакс имеет в виду под «дальше»:

Варифокалы

Все VR гарнитуры на потребительском рынке сегодня имеют фиксированный фокус. Каждому глазу предоставляется отдельное изображение, но оно находится на фиксированном расстоянии относительно линз и глаза. Во время воспроизведения опыта это вызывает вергентно-аккомодационный конфликт. Это делает виртуальную реальность менее реалистичной, размывает объекты, вызывает усталость глаз, головные боли, головокружение и тошноту.

На ежегодной конференции F8 в Facebook в мае 2018 года компания продемонстрировала прототип гарнитуры под названием Half Dome. Half Dome − это варифокальная гарнитура с функцией отслеживания глаз, которая механически перемещает панели дисплея, чтобы изменить фокусное расстояние и устранить зрительный конфликт.

На Oculus Connect 5 в сентябре 2018 года Майкл Абраш продемонстрировал нейросеть DeepFocus. Это управляемый искусственным интеллектом рендерер от Facebook, который создает реалистичное размытие в режиме реального времени для гарнитур с варифокальными дисплеями.

Почему это важно: варифокальные гарнитуры с реалистичным размытием сделают возможными очень длительные VR сеансы без усталости глаз или визуального дискомфорта, а также повысят реалистичность опыта.

Отслеживание глаз

Почти все потребительские гарнитуры сегодня имеют угол обзора примерно 100 градусов по горизонтали с разрешением примерно 1500 × 1500 на глаз. Расширение поля зрения уменьшает эффективное угловое разрешение.

Для поддержки более широкого поля зрения при высоком разрешении потребуется применить фовеальный рендеринг и систему отслеживания глаз. Как мы уже неоднократно писали ранее, VR гарнитуры могут воспользоваться особенностью человеческого зрения и рендерить в высоком разрешении лишь те участки, на которых сфокусировался взгляд пользователя. Все остальное можно рендерить при значительно более низком разрешении.

Отслеживание глаз также позволяет динамически корректировать искажение линз в зависимости от точного положения глаза пользователя относительно линзы. Это позволит применять новые типы линз

Почему это важно: отслеживание глаз позволит использовать гарнитуры с гораздо более высоким разрешением и более широким полем обзора.

Отслеживание пальцев

Сегодня для выполнения всех задач в VR используются контроллеры. Эти устройства напоминают разделенный пополам контроллер игровых консолей, оснащенный грип триггером и более точными гаптическими элементами.

Facebook и другие крупные компании в сфере виртуальной реальности исследуют возможность свободного использования рук в VR.

Хотя отслеживание пальцев не заменит ручные контроллеры в сфере гейминга, но оно будет весьма полезно для социальной виртуальной реальности и пассивного опыта.

Почему это важно: не придется использовать контроллеры для чисто социального или пассивного VR контента.

Отслеживание движений лица и тела

В сегодняшнем потребительском социальном VR пользователи могут использовать лишь примитивные мультяшные аватары. Но что, если бы мы могли видеть в VR фотореалистичное отображение своих друзей? Именно над этим работает Facebook, используя многочисленные камеры в передней части гарнитуры и машинное обучение (подробнее здесь).

Сейчас компания даже говорит об использовании мышечной имитационной модели и отслеживании всего тела с помощью всего одного внешнего датчика без нательных маркеров и массива сенсоров.

Почему это важно: можно будет общаться и играть в виртуальной реальности со своими друзьями в качестве фотореалистичных аватаров.

Сканирование и картирование помещения

Современные VR гарнитуры дают пользователю возможность вручную определять игровое пространство свободное от помех. Это означает, что пользователь обычно использует самую большую свободную площадку в своем доме.

Но даже так возникает ощущение ограниченности и страх столкнуться с различными объектами.

Будущие VR гарнитуры смогут более реалистично перенести геометрию помещения в виртуальную реальность, стирая грани между реальным и виртуальным. Реальный стол может быть представлен в VR в виде мешка с песком, а торшер в виде большого растения.

Почему это важно: можно будет использовать больше своего физического пространства.

Беспроводной PC VR

Oculus Quest уже является беспроводным устройством, но его PC VR собрат Rift S использует кабель. Как известно, Facebook активно исследует беспроводные технологии. В 2016 году на Oculus Connect 2 Майкл Абраш предсказал, что к 2021 году PC VR освободится от кабелей.

Другие компании, такие как HTC и TPCast, уже вывели на рынок беспроводные адаптеры для PC VR, но с непомерным ценником в $300. Facebook намерен снизить стоимость технологии и уже запатентовал несколько вариантов беспроводных систем.

Почему это важно: пользователь сможет свободно передвигаться, не путаясь в кабелях, и при этом наслаждаться высококачественной графикой, которую предоставляет мощный компьютер.

Какие технологии, по вашему мнению, стоит ждать в VR устройствах следующего  поколения?