Apple выпустила visionOS 26.4 с поддержкой фовеального стриминга и улучшенным пространственным аудио

Ключевым нововведением обновления visionOS 26.4 стал фовеальный стриминг (foveated streaming), впервые представленный в бета-версии для разработчиков месяц назад.

Важно отметить, что фовеальный стриминг отличается от фовеального рендеринга (foveated rendering), хотя обе технологии могут использоваться совместно. Фовеальный рендеринг предполагает, что система отрисовывает область, на которую направлен взгляд пользователя, в более высоком разрешении. В свою очередь, фовеальный стриминг означает передачу этой области в гарнитуру с более высоким качеством изображения по сравнению с остальной частью кадра.

Данная технология уже применялась, например, в решениях Valve для потоковой передачи VR-контента с ПК. Поскольку видеодекодеры гарнитур имеют ограничения по максимальному разрешению и битрейту, фовеальный стриминг позволяет оптимизировать качество изображения именно в зоне фокуса пользователя.

В отличие от функции Spatial Rendering в macOS, представленной в основной версии visionOS 26 и ориентированной исключительно на локальное подключение к Mac, фовеальный стриминг представляет собой низкоуровневый, независимый от платформы фреймворк. Это означает, что его потенциально может реализовать любой сервер потоковой передачи VR с ПК.

Для упрощения внедрения Apple сотрудничала с NVIDIA, добавив поддержку через SDK CloudXR. Несмотря на название, CloudXR подходит как для облачных, так и для локальных ПК.

Ранее visionOS не предоставляла разработчикам информацию о направлении взгляда пользователя в целях защиты конфиденциальности. Вместо этого передавались только события (например, выбор элемента жестом). В новой версии API предоставляет данные о приблизительной области кадра, на которую направлен взгляд пользователя — это первое появление подобного функционала в системе.

Это открывает возможность не только передавать изображение в более высоком качестве, но и рендерить его с повышенным разрешением на стороне хоста. Однако для этого VR-приложения должны поддерживать фовеальный рендеринг или использовать соответствующие инструменты.

В последние недели несколько компаний объявили о поддержке фовеального стриминга через CloudXR:

• X-Plane 12 и iRacing внедряют клиенты для visionOS, позволяющие автоматически подключаться к ПК, синхронизировать виртуальную кабину с физическими элементами и отображать их через passthrough.
• Autodesk VRED уже получил режим иммерсивной визуализации с потоковой передачей высокодетализированных моделей и используется автопроизводителями, такими как Kia, BMW, Volvo и Rivian.
• Независимый разработчик представил решение Clear XR, позволяющее транслировать любые OpenXR-игры с поддержкой фовеального стриминга.

Существенным ограничением является то, что CloudXR SDK поддерживает только графические процессоры архитектур Ada и Blackwell, то есть видеокарты серий RTX 40 и 50.

Улучшенное пространственное аудио в смешанной реальности

С момента запуска Apple Vision Pro поддерживает не только базовое позиционное пространственное аудио, но и более продвинутую технологию, учитывающую особенности помещения. Система анализирует геометрию и материалы пространства для точной передачи звука, что Apple называет Audio Ray Tracing.

В версии visionOS 26.4 улучшена работа этой функции: гарнитура теперь сохраняет акустические характеристики помещений. Это позволяет быстрее и точнее инициализировать пространственное аудио без необходимости повторного сканирования пространства при каждом использовании.