Разработчики уже используют Passthrough API Quest

На предстоящей GDC компания Meta представит примеры использования новейшего API Passthrough Camera, пригласив разработчиков из Niantic, Creature и Resolution. Они покажут, как уже применяют этот инструмент для создания передовых решений в области смешанной реальности.

Будущее разработки MR: что представит Meta

Эта информация появилась в описании сессии Meta Developer Summit на GDC 2025, получившей название Merge Realities, Multiply Wonder: Expert Guidance on Mixed Reality Development. В нем говорится следующее:

Далее вас ждет эксклюзивный взгляд на перспективные нововведения, способные изменить индустрию MR. Вы узнаете, как эти технологии упрощают создание по-настоящему захватывающих и реалистичных виртуальных миров.

В завершение мы представим реальные кейсы, демонстрирующие, как разработчики уже используют API Passthrough Camera для улучшения своих продуктов. Вы увидите, как этот инструмент помогает создавать интерактивные MR-опыты, стирая грань между цифровым и физическим пространством.

Эта сессия станет отличной возможностью для специалистов в области MR изучить передовые технологии и опередить конкурентов, овладев новыми инструментами разработки.

Как API Passthrough меняет MR-разработку

Участники саммита узнают, как интеграция API Passthrough помогает улучшить геймплей, делая его более адаптивным к различным пространствам. API поддерживает использование настраиваемых моделей компьютерного зрения, работающих в реальном времени, что открывает разработчикам новые возможности.

Интересно, что информация о поддержке камер гарнитуры Quest появилась в документации Meta спустя всего неделю после анонса саммита. Теперь приложения смогут получать доступ к видеопотоку с фронтальных камер гарнитуры для расширенного взаимодействия с реальным миром.

Этот API был впервые анонсирован на Connect 2024 в сентябре. Тогда Meta заявила, что он станет ключевым инструментом для создания передовых MR-возможностей.

Возможности Passthrough API в Quest

Meta уже привела несколько примеров, как разработчики могут применять API Passthrough в своих проектах:

• Распознавание объектов. Приложения смогут идентифицировать реальные предметы и взаимодействовать с ними. Например, цифровые настольные игры смогут интегрировать физические фигурки и игровые поля в виртуальное пространство.
• Распознавание местоположения. Программы смогут адаптировать опыт пользователя в зависимости от его окружения — будь то улица, помещение или конкретная достопримечательность.
• Использование машинного обучения. API позволяет запускать кастомные модели компьютерного зрения, что открывает возможности для ретекстурирования объектов, создания игр с участием пользователей без гарнитур, а также определения людей и животных в кадре.

В то же время, Google подтвердила, что ее будущая операционная система Android XR, предназначенная для автономной гарнитуры Samsung, также поддерживает доступ к видео с камер в реальном времени.

Чем API Passthrough отличается от обычного видеопотока?

В гарнитурах Quest 3 и Apple Vision Pro используются камеры для отображения реального мира, но их доступность для сторонних разработчиков остается ограниченной. Обычно они получают лишь обработанные данные: координаты рук, трехмерную карту окружения и базовое отслеживание объектов. Прямой доступ к видеопотоку системы не предоставляет, что ограничивает возможности компьютерного зрения.

Единственное исключение — обновление visionOS 2 от Apple, которое позволяет корпоративным клиентам использовать камеры Vision Pro для внутренних решений. Однако для этого требуется специальная лицензия и строгое соблюдение условий использования в бизнес-среде.