На следующей неделе Meta* представит свой новый мощный API

Конференция разработчиков игр (GDC) пройдет с 17 по 25 марта в Сан-Франциско. Meta* будет присутствовать на конференции, организовав более дюжины сессий и мероприятий.

На мероприятии Merge Realities, Multiply Wonder: Expert Guidance on Mixed Reality Development, Meta* представит разработчикам API Passthrough. Новый API поддерживает «использование в реальном времени настраиваемого компьютерного зрения для развертывания в играх» с использованием канала камеры Passthrough.

Компания обещает «реальные примеры разработчиков, которые уже используют наш новейший API Passthrough, чтобы вывести свои приложения на новый уровень. Посмотрите, как они используют этот мощный инструмент для создания бесшовных и интерактивных MR-опытов, которые стирают границы между реальностью и фантазией».

Meta* также даст «эксклюзивный обзор некоторых пунктов дорожной карты, которые произведут революцию в разработке MR. Узнайте, как эти новые функции облегчат создание потрясающе реалистичных и увлекательных MR-опытов».

Что такое API Passthrough?

В настоящее время приложения смешанной реальности могут получать доступ только к абстрактным данным о физической среде, включая грубую трехмерную сетку комнаты и коробки, представляющие отдельные предметы мебели.

API Passthrough, анонсированный в сентябре 2024 года, впервые предоставит приложениям смешанной реальности доступ к каналу камеры passthrough. Это позволит приложениям лучше распознавать, анализировать и реагировать на свое окружение и отдельные объекты, что имеет решающее значение для расширенной смешанной реальности.

В статье поддержки, которая была преждевременно опубликована (впервые обнаружена Luna), Meta приводит примеры того, как приложения могут извлечь выгоду из доступа к камере.

Распознавание объектов. Разработчики могут создавать приложения, которые распознают и используют определенные объекты в вашей реальной среде. Например, цифровая настольная игра, включающая физические игровые фигуры или доски.

Распознавание местоположения. Разработчики могут создавать опыт, который реагирует по-разному в зависимости от того, где камера показывает, что вы находитесь. Например, в помещении или на улице, на известной достопримечательности или в определенном типе комнаты.

Другие функции машинного обучения. Разработчики могут запускать пользовательские модели машинного обучения на основе данных с камеры в реальном времени. Это может быть использовано для ретекстурирования/затенения, игр с участием участников, которые не носят гарнитуры, обнаружения людей/животных или любого количества пользовательских промышленных/учебных вариантов использования.

API Passthrough был анонсирован на начало 2025 года. Глава Reality Labs Эндрю Босворт сказал месяц назад, что этот график все еще актуален и что некоторые разработчики уже имеют доступ к API и экспериментируют с ним. Поэтому мы должны увидеть плоды этих экспериментов на следующей неделе.

*Meta признана экстремистской компанией на территории России