Теперь и XR: Google позволяет создавать смешанную реальность текстом — обзор функции

Google представила XR Blocks Gem — расширение для веб-приложения Gemini, которое позволяет создавать интерактивные WebXR-опыты простым текстовым описанием (так называемый «vibe coding»). Gem даёт ИИ контекст о работе XR Blocks WebXR SDK и примеры кода.

Пользователь вводит текстовый запрос, и менее чем через минуту Gemini генерирует HTML, CSS и JavaScript, отображая результат в окне Canvas рядом с чатом. Сцены могут включать интерфейс, взаимодействие рук и физику (Gemini «понимает физику»).

Для тестирования на обычном ПК предусмотрен симулятор с управлением WASD и мышью. Но полная ценность раскрывается в гарнитуре (Samsung Galaxy XR, Meta Quest 3, Apple Vision Pro) — браузер сразу запускает WebXR-сцену без компиляции. В шлеме удобнее использовать Bluetooth-клавиатуру или голосовой ввод.

Качество и скорость генерации зависят от выбранной модели Gemini. Google рекомендует платную версию с режимом Pro (безошибочный результат в ~95% случаев против ~87% у Thinking). Примеры возможного: физическая лаборатория, волейбол с руками, химические опыты, наглядная геометрия, игра в динозаврика из Chrome в XR и даже «Кот Шрёдингера» с квантовым состоянием.

Попробовать функцию можно в Gemini, но лучше — внутри VR/AR-гарнитуры.