Вчера вечером Марк Цукерберг представил последние прототипы VR-гарнитур от Meta*, которые, по его словам, должны в конечно итоге стать устройством с визуальной завершенностью, неотличимой от реальности.

Компания тратит десятки миллиардов долларов на разработку продуктов расширенной реальности, значимая часть которых идет на долгосрочные исследования и создание прототипов в подразделении Reality Labs. Теперь в попытке пролить немного света на то, чего достигли эти деньги, Цукерберг решил рассказать о последних достижениях в этой области.

В начале видео глава Meta выступил вместе с главным научным сотрудником Reality Labs Майклом Абрашем, еще раз указав на цели своей работы. Одна из них — создание оборудование виртуальной реальности такого качества, чтобы визуальная система человека воспринимала картинку как реальность.

Разработчики Meta используют «визуальный тест Тьюринга», чтобы обозначить тот порог, который убеждает вашу визуальную систему в том, что то, что находится внутри VR-устройства, действительно реально. Термин заимствован из аналогичного понятия, обозначающего точку, в которой человек может отличить другого человека от искусственного интеллекта. Таким образом, необходима гарнитура, которая может пройти визуальный тест Тьюринга.

Четыре проблемы

Цукерберг и Абраш описали, по их мнению, четыре ключевые визуальные проблемы, которые должны решить все будущие VR-устройства, чтобы они сумели пройти вышеописанный тест: варифокальность, искажение, разрешение сетчатки и HDR. Что это значит?

Варифокальность — возможность фокусировки на произвольной глубине виртуальной сцены с использованием обеих основных функций фокусировки глаз (вергенции и аккомодации).

Искажение. Линзы по своей сути искажают проходящий через них свет, часто создавая такие артефакты, как цветоделение и размытие зрачка, что делает очевидным наличие линзы.

Разрешение сетчатки — разрешение дисплея, достаточное для того, чтобы соответствовать или превышать разрешающую способность человеческого глаза, когда нет никаких признаков видимых пикселей.

HDR, также известный как высокий динамический диапазон темноты и яркости, испытываемые в реальном мире. Сегодня почти ни один дисплей не может должным образом имитировать этот показатель.

Исследовательская группа Meta создала прототипы, которые служат доказательством концепции для потенциальных решений всех проблем.

Варифокальность

Чтобы решить эту проблему, команда разработала серию прототипов под названием Half Dome. В них впервые был использован механически перемещающийся дисплей для изменения расстояния между дисплеями и объективами, тем самым изменяя фокусную глубину изображения. Позже разработчики перешли на твердотельную электронную систему, в результате чего варифокальная оптика стала значительно более компактной, надежной и бесшумной.

Искажение

Абраш объяснил, что эксперименты с конструкциями линз и алгоритмами коррекции искажений, специфичными для этих конструкций линз, являются трудоемким процессом. Новые прототипы не могут быть изготовлены быстро. Но даже после этого, линзы все равно нужно тщательно интегрировать в гарнитуру.

Чтобы позволить быстрее решать эту проблему, команда создала «симулятор искажений», который фактически эмулирует VR-гарнитуру с использованием 3D-телевизора и имитирует линзы и соответствующие им алгоритмы коррекции искажений в программном обеспечении.

Разрешение сетчатки

Meta представила ранее неизвестный прототип под названием «Butterscotch», который обеспечивает разрешение сетчатки в 60 пикселей на градус. Для этого использовались дисплеи с чрезвычайно высокой плотностью пикселей и уменьшенным полем зрения, чтобы сконцентрировать их на меньшей площади — примерно до половины размера Quest 2. Meta заявляет, что также разработала «гибридный объектив», который полностью передаст увеличенное разрешение, и поделилась сравнениями между оригинальным Rift, Quest 2 и Butterscotch.

Сегодня уже существуют гарнитуры с разрешением Retina, например, Varjo VR-3, однако только небольшая область в центре обзора (27 × 27) достигает отметки 60 PPD. Все, что находится за пределами этой области, падает до 30 PPD или ниже. Прототип Butterscotch имеет разрешение 60 PPD по всему полю обзора, хотя компания не объяснила, в какой степени разрешение уменьшается по краям объектива.

Высокий динамический диапазон (HDR)

Цукерберг сказал, что из всех четырех проблем, самой важной является именно HDR. Чтобы доказать влияние этого параметра на восприятие виртуальной реальности, исследовательская группа создала еще один прототип, получивший название Starburst. По данным корпорации, это первое VR-устройство, которое может достигать колоссальных 20 000 нит.

Цель HDR в том, чтобы придать реалистичную яркость вещам, которые на самом деле очень яркие в реальной жизни. Например, пожар, взрыв, фейерверк или даже яркие отражения от окна в безоблачный день. Способность воспроизвести этот «всплеск» яркости в VR необходима для прохождения визуального теста Тьюринга.

Для сравнения, Quest 2 достигает 100 нит, а у высококлассных HDR-телевизоров — 2000 нит. Это означает, что Starburst может выдавать диапазон яркости, который в 10 раз ярче, чем у лучших HDR-телевизоров.

Ожидается, что PSVR 2 станет первой коммерчески доступной HDR гарнитурой для VR, но сам термин не совсем четко определен. Пока неизвестно, достигнет ли она 1000 нит.

Уменьшение размеров

Многие прототипы, показанные Цукербергом, сильно жертвуют весом и размером, чтобы доказать эти фундаментальные идеи. Но компания сосредоточена на резком уменьшении форм-фактора устройств. С этой целью она провела исследование голографической складчатой оптики и превратила ее в настоящую, работающую VR-гарнитуру под названием Holocake 2.

Это впечатляюще компактный прототип устраняет два самых больших ограничения размеров современных VR-устройств: длину оптического тракта и ширину линз. Использование «блиновой» оптики эффективно сокращает расстояние между объективом и дисплеем, «сворачивая» траекторию обратно на себя при помощи поляризации, чтобы отражать свет назад и вперед, прежде чем, достичь глаза.

По мере уменьшения этого расстояния вы начинаете видеть, что толщина линз на самом деле еще больше ограничивает то, насколько близко вы можете поднести дисплей к глазу. С этой целью в прототипе Holocake 2 используются голографические линзы, которые значительно тоньше традиционных линз.

По сути, это тонкие голографические пленки, в которые встроена голограмма традиционной линзы. Несмотря на то, что они тонкие, они управляют светом также, как и более толстые линзы, из которых они смоделированы.

«Создание голографической линзы стало новым подходом к уменьшению форм-фактора. Это стало заметным шагом вперед для систем отображения виртуальной реальности», — говорит Meta. «Это первая наша попытка создать полностью функциональную гарнитуру, использующую голографическую оптику. Мы считаем, что возможна дальнейшая миниатюризация устройства».

Однако гарнитура подключена к ПК, что означает, что ей потребуется дополнительная мощность и батарея, чтобы достичь автономного форм-фактора, к которому стремится корпорация. Кроме того, к сожалению, Holocake 2 требует лазерного источника света, чтобы оптика хорошо работала. А это означает, что и размеры, и стоимость далеки от практической реализации в готовом продукте.

Время Project Cambria

Все это — захватывающий взгляд на то, куда может привести будущее VR-оборудования. Но станет ли предстоящая гарнитура Project Cambria точкой, где все эти проблемы начнут решаться.

Ответ — нет. Meta утверждает, что большая часть демонстрируемых технологий и разработок далека от готовности к релизу. А поскольку ожидается, что Camria будет запущена в этом году, у Meta просто не хватит времени на внедрение всех этих технологий. Похоже, что она будет использовать складную оптику (хотя и не голографическую разновидность), чтобы уменьшить форм-фактор. Но должно пройти достаточное количество времени, чтобы на рынке в виде конечного продукта появилось что-то вроде Holocake 2.