Меta*: как ваши гарнитуры и очки могут понимать планировку и мебель комнаты

Последнее ИИ-исследование Meta* позволяет гарнитурам и очкам понимать планировку и мебель вашей комнаты. В Meta* говорят, что система SceneScript использует ту же технологию, что и большие языковые модели (LLM).

SceneScript в действии

Quest 3* способен генерировать необработанную 3D-сетку вашей комнаты и определять положение стен, пола и потолка на основе этой 3D-сетки. Но в настоящее время гарнитура не знает, какие фигуры внутри представляют конкретные элементы, такие как двери, окна, столы, стулья и диваны. Гарнитуры Quest* позволяют помечать эти объекты как простые прямоугольные кубы вручную, если они захотят, но поскольку это необязательно и утомительно, разработчики не могут рассчитывать на то, что пользователи это сделают.

Если бы такая технология, как SceneScript, была интегрирована в настройку сцены смешанной реальности Quest 3*, разработчики могли бы автоматически размещать виртуальный контент на определенных элементах мебели или вокруг. Они могут заменить только окна порталами, стул виртуальным сиденьем или превратить ваш диван в мешки с песком. Сегодня это возможно, если попросить пользователя разметить мебель вручную или с помощью ручных алгоритмов, интерпретирующих сетку сцены, но SceneScript может сделать это плавно и автоматически.

Такие технологии, как SceneScript, также имеют огромный потенциал для использования ИИ-помощников в будущих гарнитурах и, в конечном итоге, очках дополненной реальности. Меtа* приводит пример таких вопросов, как «Поместится ли этот стол в моей спальне?» или «Сколько банок с краской потребуется, чтобы покрасить эту комнату?».
Однако на данный момент компания описывает SceneScript исключительно как исследование, а не как ближайшее обновление. Хотя эта технология может появиться в Quest 3*, нет никаких предположений, что это произойдет в ближайшее время.

*Meta признана экстремистской компанией на территории России