Изменения и улучшения VisionOS 2

Версия VisionOS 2 уже доступна для Apple Vision Pro.

VisionOS 2 была анонсирована еще на мероприятии Apple WWDC24 в июне. С тех пор компания выпустила девять бета-версий. Но первая стабильная версия уже вышла и должна быть доступна каждому владельцу Apple Vision Pro.

VisionOS 2 представляет новые функции и многочисленные улучшения в операционной системе Apple Vision Pro.

Меню жестов руками

VisionOS 2 добавляет два системных жеста рукой. Если открыть ладонь и прижать указательный палец к большому, появится панель запуска приложений (тот же жест меню, что и на гарнитурах Meta Quest). Если вы снова повернете ладонь вниз, откроется новая блокируемая вручную информационная панель со временем, громкостью, процентом заряда батареи и состоянием подключения. При нажатии на нее откроется Центр управления.

Обновление также позволяет вам переупорядочивать приложения на главном экране, который ранее был отсортирован по алфавиту без какой-либо настройки.

Превратите любое изображение в пространственную фотографию
VisionOS 2 может превратить любое 2D-изображение в пространственную фотографию, сделав его 3D с помощью «расширенного машинного обучения».

Улучшения в отслеживании рук и понимании сцены

VisionOS 2 содержит два улучшения в отслеживании рук и два улучшения в понимании сцены.
В VisionOS 1 система предоставила разработчикам возможность отслеживать позы рук с частотой 30 Гц. В VisionOS 2 позы для отслеживания рук предоставляются с частотой обновления дисплея, обычно 90 Гц.

Другое улучшение отслеживания рук — это прогнозирование, которое не является обязательным для разработчиков. Включение прогнозирования обеспечивает экстраполированные положения рук, показывающие, где должна находиться рука к моменту отображения каждого кадра. Это приводит к заметно более низкой эффективной задержке, но с жертвой некоторой точности.

В VisionOS 2 гарнитура теперь поддерживает функцию Room Tracking. Система предоставит застройщикам точную геометрию стен и пола каждого помещения, поддерживая даже непрямоугольные стены. При входе в новое помещение система сообщит об этом застройщику и начнет предоставлять геометрию только для нового помещения. Apple утверждает, что разработчик может использовать это, чтобы, например, виртуальный питомец приветствовал вас, когда вы входите в спальню.

Помимо стен и полов, VisionOS 2 также вносит улучшения в обнаружение плоскостей. В то время как VisionOS 1 может обнаруживать только горизонтальные и вертикальные плоскости, VisionOS 2 может обнаруживать и наклонные плоскости.

Safari получает кинематографический режим и WebXR по умолчанию

В VisionOS 2 Safari поддерживает воспроизведение полноэкранного видео на огромном виртуальном экране, включая YouTube и Netflix.

WebXR теперь включен по умолчанию и больше не скрывается за флажком функции, которую пользователи должны включить.

Vision Pro теперь является приемником AirPlay

В VisionOS 2 гарнитуры Vision теперь являются приемниками AirPlay, что означает, что вы можете транслировать дисплей своего iPhone или iPad на гарнитуру.

VisionOS 2 лучше интегрирует iPhone, Mac и устройства ввода

Внедрение вашего iPhone и iPad в VisionOS — это важный шаг Apple в интеграции экосистемы.
Новая виртуальная среда: Бора-Бора

Прорыв в области клавиатур

В VisionOS 2 ваша физическая клавиатура Magic Keyboard теперь отображает полностью захватывающую среду, называемую Keyboard Breakthrough.
Кроме того, теперь поддерживаются физические мыши, тогда как раньше работали только трекпады.

Обновление гостевого режима

VisionOS 2 позволяет сохранять настройки рук и глаз гостевого пользователя на срок до 30 дней.
Это будет полезно для супруга или друга, который часто использует вашу гарнитуру.

Статическое 3D-отслеживание объектов
VisionOS 2 также добавляет разработчикам возможность отслеживать 3D-объекты — совершенно новую возможность отслеживания. Разработчик должен предоставить отслеживаемые 3D-объекты в виде 3D-моделей USDZ в инструмент Create ML на своем Mac перед компиляцией приложения. Create ML обучит нейронную сеть для каждого объекта, который будет встроен в приложение.

Режим путешествия для поездов
Режим путешествия, в настоящее время предназначенный для самолетов, теперь поддерживается и в поездах.

Живые субтитры

И, как было объявлено в мае, в VisionOS 2 добавлена ​​опция Live Captions, которая будет применяться к живым разговорам через вход микрофона, а также к звуку из любого приложения, в том числе к вызовам FaceTime.

HealthKit и TableTopKit

HealthKit, используемый на других устройствах Apple, доступен в VisionOS 2, позволяя приложениям для здоровья и фитнеса хранить и считывать данные в вашем профиле Apple Health и из него.

А новый TabletopKit упрощает разработчикам «быстрое создание приложений для совместного использования и совместной работы, сосредоточенных вокруг стола, таких как настольные игры или производственная рабочая станция».

Доступ к камере Raw для предприятий

Благодаря VisionOS 2 корпоративные компании могут получить доступ к сквозным камерам Vision Pro для запуска пользовательских моделей компьютерного зрения. Apple предоставит корпоративному доступу к камерам Vision Pro

Apple ясно дает понять, что эти функции можно использовать только в приложениях «только для использования в бизнес-средах», а приложения, использующие их, могут распространяться только как собственные собственные приложения или пользовательские приложения, созданные для конкретного бизнеса с помощью Apple Business Manager, а не в App Store.

Сверхширокий виртуальный дисплей Mac (позже в этом году)

Функция виртуального дисплея Mac должна получить серьезные улучшения, расширяя дисплей до виртуального сверхширокого экрана, эквивалентного двум мониторам 4K вместе. Apple заявляет, что это будет основано на динамической фовеации с отслеживанием глаз.

Для этой функции потребуется будущая версия VisionOS.