API Passthrough Camera для Quest наконец стал доступен разработчикам, хотя интеграция в приложения для Meta Horizon Store пока невозможна.
Официальный релиз и его особенности
Объявленный на Meta Connect 2024, API Passthrough Camera теперь доступен для гарнитур Quest 3 и Quest 3S в виде экспериментального релиза. Это открывает разработчикам возможность работать с камерой гарнитуры, тестировать новые функции и распространять APK-файлы через платформы, такие как SideQuest.
Однако добавление функциональности в официальные приложения для Meta Horizon Store пока недоступно.
Такой подход не нов для Meta. Компания уже применяла подобную стратегию для других API, позволяя разработчикам тестировать технологии до их полноценной интеграции в магазин. Обычно это занимает несколько месяцев.
Ограничения и новые перспективы
До появления API Passthrough Camera прямой доступ к камерам гарнитуры Quest имело только системное программное обеспечение. Разработчики могли использовать сквозной поток видео в качестве фона, но не получали доступа к необработанным данным с камер.
Вместо этого они работали с высокоуровневыми данными, такими как координаты рук, 3D-модель окружающей среды и ограниченные возможности отслеживания объектов.
Новый API позволяет разработчикам запускать собственные модели компьютерного зрения, открывая возможности для:
- Сканирования QR-кодов.
- Обнаружения игровых поверхностей для интеграции виртуальных объектов.
- Распознавания физических объектов для корпоративных приложений.
- Интеграции визуальных функций ИИ и облачных моделей.
Однако, несмотря на прогресс, API Passthrough Camera имеет ограничения. Поток видео доступен с разрешением до 1280×960 пикселей на камеру при частоте 30 кадров в секунду и задержке 40-60 миллисекунд. Это делает его непригодным для отслеживания быстро движущихся объектов, например, контроллеров, или распознавания мелкого текста.
Технические аспекты интеграции
API Passthrough Camera работает через стандартный Android API Camera2, предоставляя доступ к данным с камер, а также к позе гарнитуры через OpenXR. Для работы с API необходимо получить разрешение на доступ к камерам через Horizon OS.
Для Unity доступ осуществляется через WebCamTexture API, который традиционно используется для работы с камерами смартфонов и веб-камерами на ПК. Однако у этого подхода есть ограничение — поддержка только одной камеры одновременно.
Примеры и ресурсы для разработчиков
Meta опубликовала на GitHub пять официальных примеров для Unity:
- CameraViewer
- CameraToWorld
- BrightnessEstimation
- MultiObjectDetection
- ShaderSample
Инженер-программист Meta Роберто Ковьелло также создал коллекцию QuestCameraKit, которая включает дополнительные примеры:
- Color Picker
- Обнаружение объектов с Unity Sentis
- Отслеживание QR-кодов с ZXing
- Эффект «матового стекла»
- Интеграция модели OpenAI Vision
Для работы с API пользователю необходимо предоставить приложению разрешение на доступ к камерам, как это происходит при использовании микрофона.
Перспективы будущего развития
Хотя API Passthrough Camera пока ограничен экспериментальным доступом, опыт показывает, что Meta вскоре разрешит интеграцию в официальные приложения для Meta Horizon Store. Это откроет дорогу для создания более сложных AR-решений и расширит функциональность гарнитур Quest на базе XR2 Gen 2.
Подпишитесь на наш Telegram и будьте в курсе всех новостей 📲
Подписаться Telegram 🔔
Кира Титова