Meta XR Operator*: AI-агенты научились самостоятельно тестировать VR-приложения

Компания Meta представила экспериментальный инструмент, который позволяет AI-кодерам автономно собирать, тестировать, отлаживать и проверять VR-приложения. Пока рано говорить о полноценной замене разработчика, но шаги в этом направлении становятся всё более уверенными.

Meta XR Operator* — это новый слой OpenXR API, доступный в экспериментальной версии Meta XR SDK (v205). Его задача — дать AI-агентам возможность видеть, перемещаться и взаимодействовать с работающими VR-приложениями внутри Meta XR Simulator. Фактически, агенты могут:

• собирать сцены в Unity,
• запускать приложение,
• делать скриншоты,
• выявлять проблемы,
• исправлять их,
• и проверять, что исправление сработало.

Кроме того, инструмент поддерживает тестирование на естественном языке: разработчик описывает сценарий, а агент выполняет его и возвращает результат с подтверждением (скриншоты и статус pass/fail).

Meta* уже опробовала XR Operator на студии Beat Games (создатели Beat Saber) и других разработчиках. В одном из ранних тестов AI-агент построил интерактивную игру «Крестики-нолики» в VR: написал логику, наводил виртуальный контроллер на ячейки, нажимал кнопку «A» для хода и играл до победы или поражения. Всё это — без участия человека.

Оператор XR пока не является полноценным решением для верификации. Есть несколько серьёзных ограничений:

• не слышит звук;
• не может корректно оценивать анимацию и движение;
• не поддерживает отслеживание отдельных пальцев;
• с трудом ловит тонкие визуальные дефекты;
• работает медленно для динамичных сцен (лучше всего подходит для статичных детерминированных сценариев).

Инструмент работает только с Meta XR Core SDK для Unity. Для других движков (Godot, Unreal Engine) доступен отдельный пакет для самостоятельной интеграции через OpenXR.