visionOS 27: что осталось за кадром

В visionOS 27 появится гораздо больше нововведений, чем Apple анонсировала во время основной презентации и в своём блоге.

На WWDC 2026 компания представила visionOS 27 — четвёртую крупную версию операционной системы для гарнитур Apple Vision Pro. Хотя в основном выступлении о visionOS почти не упоминали, документация и сессии для разработчиков показывают, что это одно из самых масштабных обновлений за всю историю. Среди ключевых новшеств:

• отслеживание заранее настроенных удерживаемых объектов (held object tracking);
• фреймворк для аксессуаров с ИК-светодиодной подсветкой;
• незафовеированная запись экрана (unfoveated screen recording);
• и ряд других серьёзных улучшений.

Выход и совместимость
visionOS 27 выйдет «этой осенью» для моделей Vision Pro как на M2, так и на M5. Первая бета-версия уже доступна, но в ней отсутствует большинство функций, которые появятся в стабильном релизе.

Siri AI и визуальный интеллект

Эти нововведения не войдут в первый релиз visionOS 27. Apple обещает, что «позже в этом году» Siri AI — полностью переработанный голосовой ассистент на основе больших языковых моделей — появится во всех основных ОС компании, включая visionOS.

Siri AI работает на базе Apple Foundation Models нового поколения. Эти модели разработаны совместно с Google и основаны на Gemini (по данным источников, сделка оценивается в $1 млрд в год). Как и всегда в случае с Apple Intelligence, часть задач обрабатывается на устройстве, а более сложные запросы пересылаются в облачную систему Private Cloud Compute.

По заявлению Apple, Siri AI — это «гораздо более способный и разговорчивый ассистент» по сравнению с классической Siri, который обладает «пониманием личного контекста, широкими знаниями о мире и улучшенными диалоговыми возможностями».

В visionOS Siri AI будет выглядеть как постоянная сфера, которую можно закрепить в любом месте комнаты. Чтобы обратиться к ассистенту, достаточно просто посмотреть на сферу и начать говорить — не нужно произносить «Siri» (хотя эта опция тоже сохраняется).

Кроме того, Siri AI на visionOS получит поддержку функции визуального интеллекта от Apple. Это позволит искать информацию, задавать вопросы и выполнять действия, связанные с физическим и цифровым окружением пользователя. По своим возможностям новая Siri занимает промежуточное положение между Meta AI на Horizon OS (Quest 3) и Gemini на Android XR (Samsung Galaxy XR).

В visionOS 27 появится отдельное приложение Siri, которое позволит просматривать историю предыдущих диалогов и станет предустановленной альтернативой сторонним ИИ-чатам, таким как ChatGPT, Gemini, Claude, Grok и Meta AI.

Новые Foundation Models от Apple также принесут:

• значительно более реалистичную генерацию изображений в Image Playground;
• автоматическую группировку вкладок в Safari;
• возможность усилить надёжность сохранённых паролей одним нажатием;
• персонализированные умные ответы в Сообщениях.

Пространственные панорамные среды

В visionOS 2 появилась функция добавления синтетической стереоскопии в 2D-изображения, а в visionOS 26 — возможность превращать 2D-снимки в ограниченные объёмные пространственные сцены с помощью гауссовского сплаттинга. В visionOS 27 эта концепция расширяется на панорамы, снятые на iPhone.

Пространственные панорамы как домашняя среда

Теперь панорамные снимки, снятые на iPhone, можно превращать в объёмные пространственные сцены и устанавливать их в качестве фонового окружения для окон и объёмных объектов в режиме Shared Space на visionOS.

Высокочастотное отслеживание объектов

В visionOS 2 Apple добавила возможность отслеживать заранее заданные реальные 3D-объекты. Разработчик передаёт 3D-модель в инструмент Create ML на Mac, который за несколько часов обучает нейросеть и встраивает её в приложение. Однако эта система работала только со статичными объектами и плохо реагировала на движение.

В visionOS 27 появился режим высокочастотного отслеживания (по оценкам разработчиков, около 30 Гц), подходящий для движущихся и удерживаемых объектов. Для удерживаемых предметов Apple рекомендует использовать режим Extended Training, который значительно повышает точность, но сильно увеличивает время обучения модели (например, на игрушечную рыбку ушло около 18 часов).

Важно: хотя новый режим намного лучше предыдущего, его частота обновления и задержка всё ещё уступают отслеживанию рук или специальных контроллеров.

Аксессуары с ИК-светодиодами

В visionOS 26 Apple добавила поддержку контроллеров PlayStation VR2 Sense и стилуса Muse благодаря встроенным ИК-светодиодам. Теперь, с выходом visionOS 27, компания открыла API для всех производителей — любой желающий может создавать собственные аксессуары с оптическим отслеживанием (по аналогии со SteamVR Lighthouse). Оптический трекинг работает на частоте 90 Гц и объединяется с данными акселерометра и гироскопа, обеспечивая качество, сопоставимое с контроллерами PS VR2 Sense.

Два варианта программной поддержки аксессуаров:

Отдельное приложение-компаньон — производитель выпускает для visionOS специальное приложение, которое выполняет роль установщика: оно регистрирует форму устройства и конфигурацию его ИК-светодиодов в системе, чтобы другие приложения могли использовать аксессуар. Этот способ отлично подходит для потребительских устройств.

Встроенная поддержка внутри приложения — разработчик может зашить данные об аксессуаре непосредственно в своё приложение, которое работает с этим устройством. Тогда отдельный компаньон не нужен. Такой вариант предпочтителен для корпоративных решений.

Референсное оборудование и наборы для разработчиков

DFRobot и MikroE выпустят эталонные платы и стартовые наборы для создания аксессуаров с ИК-светодиодами. Они появятся позже в этом году. Компании смогут использовать их как готовое решение или как основу для собственных устройств — это значительно упрощает вход в разработку по сравнению с созданием с нуля.

Новая среда Thórsmörk

В visionOS 27 добавили виртуальную среду — исландскую долину Тора (Thórsmörk). Это десятое окружение для visionOS. Как и у всех сред, есть дневной и ночной режимы, причём ночью можно наблюдать эффектное северное сияние.

Запись экрана без фовеации

Раньше запись экрана на Vision Pro была размытой в местах, куда пользователь не смотрел, из-за фовеативного рендеринга. В visionOS 27 появилась функция High Quality Recording, которая позволяет записывать до 3 минут несжатого 4K-видео прямо на гарнитуре, без подключения к Mac. Это одна из самых ожидаемых функций для разработчиков и создателей контента.

API предпросмотра 3D-объектов с Mac

В macOS 27 и visionOS 27 добавлен API, который позволяет открывать 3D-модели из Finder и сразу просматривать их в пространственной среде на Vision Pro. Встроенное приложение Preview уже поддерживает эту функцию. Разработчики могут добавить поддержку в свои Mac-приложения буквально несколькими строками кода. Редактирование модели возможно прямо на гарнитуре с помощью взгляда и жестов, изменения синхронизируются в обе стороны. Поддерживается SharePlay для совместной работы с персонами. Cinema 4D и SketchUp уже интегрируют этот API.

Аналогичную функцию Microsoft и Meta анонсировали для Windows 11 и Horizon OS ещё в 2024 году, но, насколько известно, она пока не вышла.

Обновлённый Центр управления

В visionOS 27 изменился дизайн Control Center — теперь он разделён на три панели, что даёт больше пространства и уменьшает тесноту интерфейса.

Новый Центр управления

В visionOS 27 Control Center разделён на три панели:

• Левая — дата, время, заряд батареи, статус Wi-Fi, уведомления.
  

• Центральная — быстрые переключатели (Wi‑Fi, Bluetooth, AirPlay, авиарежим), ползунок громкости, ярлыки для Mac Virtual Display, зеркалирования, гостевого режима и режима путешествий.
  
• Правая — управление виртуальным окружением (день/ночь, баланс между панорамой и полным погружением) — дублирует функции физической Digital Crown.

Device Hub для разработчиков

В Xcode 27 появилось приложение Device Hub. Оно позволяет разработчикам удалённо запускать демо на Vision Pro, не объясняя гостю, как пользоваться интерфейсом. Это удобно, потому что iPhone- и iPad-приложения-компаньоны не умеют запускать приложения на гарнитуре.

Wi‑Fi подключается втрое быстрее

После загрузки Vision Pro интернет появлялся только через 20 секунд. В visionOS 27 это время сокращено втрое.

Изогнутые окна в Safari, Freeform и Multiview

Раньше все окна были плоскими (кроме ультраширокого режима Mac Virtual Display). В новой версии Safari, Freeform и Multiview на Apple TV получили изогнутые окна — они слегка огибают пользователя. Однако это закрытый API, доступный только системным приложениям. Сторонние разработчики могут реализовать изогнутые окна только в режиме Full Space, но с ограничениями.

Сверхмалые «виджеты-аксессуары»

В visionOS 26 появились виджеты — мини-окна, закрепляемые в пространстве (часы, погода, музыка и т.д.). В visionOS 27 добавлен новый тип — ещё более компактные «аксессуарные виджеты». Их можно использовать для отображения уровня заряда, таймера, курса акций, кнопки управления умным домом или быстрого запуска приложения.

Умные домашние виджеты

Виджеты-аксессуары можно размещать прямо на физических устройствах в доме. Достаточно посмотреть на такой виджет и сжать пальцы, чтобы включить или выключить устройство — например, свет или розетку. Также появился фирменный виджет для Mac Virtual Display: он запускает сеанс с выбранным Mac, даже если тот заблокирован. Это особенно удобно для Mac mini и Mac Studio — можно сесть за стол и подключиться одним касанием виртуальной кнопки.

Веб-среды в Safari

В visionOS 27 Safari научился отображать 3D-окружение для веб-страниц (Web Environments). Разработчики могут задать среду, которая при желании пользователя полностью окружает его. Это не WebXR, а скорее аналог фавиконки, без активного JavaScript.

Уведомления, расширяемые взглядом

Теперь уведомления раскрываются автоматически, когда вы на них смотрите, показывая больше деталей и доступных действий — без необходимости касаться. Очередной пример использования айтрекинга для упрощения интерфейса.

Авто-субтитры для видео

Добавлена функция доступности, которая генерирует субтитры для любого видео прямо на устройстве с помощью модели распознавания речи.

Подсказки для снижения укачивания

В visionOS 27 появилась функция Vehicle Motion Cues (ранее внедрённая в других ОС Apple) — анимированные точки по краям экрана, реагирующие на движение транспорта. Пока неясно, как именно она будет работать на Vision Pro и поможет ли снизить укачивание в VR-приложениях.

Управление из инвалидной коляски c помощью глаз

Система получила нативную поддержку управления отдельными моделями электроколясок с помощью отслеживания взгляда. В США функция заработает с системами Tolt и LUCI, поддерживая Bluetooth и проводное подключение.

Поддержка инвалидных колясок
Apple продолжит сотрудничать с разработчиками, чтобы расширить совместимость с другими системами управления.

Крупные обновления RealityKit

В visionOS 27 значительно улучшен собственный движок Apple, который лежит в основе большинства пространственных приложений (альтернатива Unity и Unreal). Ключевые новшества:

Освещение физического пространства — приложения теперь могут не только отбрасывать тени на реальные объекты (как раньше), но и излучать виртуальный свет. Используются LiDAR‑карта комнаты и данные датчика освещённости. Можно добавлять точечные и направленные источники света, а также проецировать текстуры (например, витраж, блики воды или звёзды).

Нативный рендеринг Gaussian Splat — технология, которая позволяет реалистично воссоздавать 3D‑сцены из миллионов полупрозрачных точек. Раньше разработчики реализовывали это сами, теперь поддержка встроена в RealityKit (эта же технология используется для пространственных сцен и персонажей в visionOS).

Симуляция ткани в реальном времени — появилась возможность создавать реалистичную ткань, которая реагирует на гравитацию, складывается, сталкивается с объектами, тянется и деформируется. Настраиваются жёсткость, трение и другие параметры.

Улучшенный иммерсивный звук — добавлен API Reverb Mesh, который позволяет описать геометрию и акустические свойства виртуальных сред. Звук реалистично отражается, рассеивается и затухает в зависимости от материалов поверхностей.

Многие из этих функций ранее были в Meta XR Audio SDK (теперь заморожен) и Valve Steam Audio SDK (продолжает обновляться).