API Passthrough для Quest: новый уровень возможностей MR

На странице поддержки Meta появилось описание нового разрешения «камера гарнитуры», что свидетельствует о скором запуске API Passthrough для гарнитур Quest. Это позволит разработчикам получать прямой доступ к видеопотоку с камер гарнитуры и использовать его в своих приложениях, значительно расширяя возможности устройств виртуальной и дополненной реальности.

Что такое сквозной доступ к камере?

Гарнитуры, такие как Quest 3 и Apple Vision Pro, оснащены камерами, благодаря которым пользователи могут видеть окружающий мир, не снимая устройство. Однако на данный момент прямой доступ к этим камерам имеет только системное программное обеспечение.

Разработчики могут использовать passthrough в качестве фона, но не могут получать исходное видео. Вместо этого система предоставляет обработанные данные — например, координаты рук и тела, 3D-модель пространства с контурами мебели, а также ограниченные данные об объектах. Это накладывает серьезные ограничения, поскольку не позволяет запускать пользовательские алгоритмы компьютерного зрения.

Apple частично сняла это ограничение в visionOS 2, предоставив корпоративным пользователям возможность работать с камерой Vision Pro напрямую. Однако этот доступ возможен только в рамках закрытых внутренних приложений и требует специальной лицензии.

API Passthrough в Quest: новые перспективы для разработчиков

О планах внедрения API Passthrough Meta объявила еще в сентябре на конференции Connect 2024, заявив, что это нововведение позволит реализовать продвинутые технологии смешанной реальности. Теперь, спустя всего пять месяцев, на сайте поддержки компании появилось подтверждение — описание разрешения «камера гарнитуры», которое позволит приложениям получать видеопоток с фронтальных камер гарнитуры в режиме реального времени.

Первыми эту информацию обнаружили энтузиасты виртуальной реальности, в частности, пользователь под ником Luna. В документации Meta перечислены три ключевых сценария использования API Passthrough:

• Распознавание объектов. Разработчики смогут создавать приложения, которые идентифицируют реальные предметы и взаимодействуют с ними. Например, цифровая настольная игра сможет распознавать физические фигуры и игровое поле.
• Определение местоположения. Приложения смогут адаптироваться в зависимости от окружения пользователя. Например, система сможет различать, находится ли человек в помещении или на улице, распознавать известные достопримечательности или определять тип комнаты.
• Использование алгоритмов машинного обучения. Разработчики получат возможность запускать собственные модели компьютерного зрения, что откроет широкие перспективы для работы с изображением. Это можно применять для изменения текстур, распознавания людей и животных, создания интерактивных игр, а также для промышленных и образовательных целей.

Конкуренция с Android XR

Развитие технологий дополненной и смешанной реальности не ограничивается гарнитурами Quest. В прошлом месяце Google официально подтвердила, что её новая операционная система Android XR, разработанная для будущей гарнитуры Samsung, также получит поддержку сквозного видеопотока с камер.

Это означает, что в ближайшем будущем пользователи смогут видеть реальный мир через гарнитуру без ограничений, а разработчики — создавать более сложные и интерактивные приложения.