Meta* открыла публичный доступ к SDK для интеграции камер умных очков в мобильные приложения

Meta* объявила о запуске публичного превью Wearables Device Access Toolkit — инструментария, позволяющего мобильным приложениям получать доступ к камере умных очков компании. Разработчики могут интегрировать SDK в приложения для iOS и Android и тестировать его на собственных устройствах, однако выпускать такие функции для широкого использования пока нельзя.

Новый toolkit предоставляет возможность делать снимки и запускать видеопоток с очков, а также обрабатывать получаемые кадры. Инструмент интегрируется с Bluetooth-аудио, что позволяет создавать решения для съёмки и трансляции от первого лица или подключать сторонние мультимодальные модели ИИ для анализа изображения.

Максимальные параметры видеопотока составляют 720p и 30 кадров в секунду. При ограничении пропускной способности Bluetooth разрешение и частота автоматически снижаются. На текущем этапе поддерживаются модели Ray-Ban Meta и Oakley Meta HSTN; в ближайшее время планируется расширение поддержки, включая Oakley Meta Vanguard и Meta Ray-Ban Display (без вывода данных на HUD).

Meta* предоставила ранний доступ к SDK ряду крупных компаний. Twitch и Logitech Streamlabs тестируют возможности трансляции от первого лица, Microsoft использует технологию в платформе Seeing AI, а Disney исследует использование очков в качестве персонального AI-гида в парках. Приложение 18Birdies демонстрирует кейс для гольфа — получение дистанции и рекомендаций по выбору клюшки без взаимодействия со смартфоном.

*Meta признана экстремистской компанией на территории России