Android XR откроет доступ к камерам для разработчиков

Google подтвердила, что приложения на Android XR смогут использовать сквозное изображение с камеры. Это откроет новые перспективы для разработчиков, работающих с дополненной и виртуальной реальностью. До этого прямой доступ к камерам был возможен только для системного ПО, но теперь сторонние приложения также смогут воспользоваться этой функцией.

Ограничения современных гарнитур

Гарнитуры, такие как Meta Quest 3 и Apple Vision Pro, уже используют камеры для того, чтобы показывать пользователю реальный мир. Однако на данный момент доступ к этим камерам имеют только системные приложения. Разработчики могут использовать сквозное изображение (passthrough) лишь в качестве фона. Это значит, что они получают только общие данные от системы.

Например, информацию о движении рук или трёхмерную модель окружающей среды с границами для мебели. Но они не могут напрямую использовать камеры для собственных алгоритмов компьютерного зрения, что ограничивает функциональность их приложений.

В компании Apple доступ к камерам предусмотрен лишь для корпоративных клиентов. Эта возможность появилась в системе VisionOS 2, но она ограничена внутренними приложениями и требует специальной лицензии.

Что изменится для Android XR

Google подтвердила опытному VR-разработчику Энтони Витильо, что Android XR предоставит разработчикам доступ к камерам. Это будет работать через стандартные разрешения и API, аналогичные тем, что применяются в обычных Android-приложениях. Разработчики смогут запрашивать доступ к камере, которая направлена на внешний мир, а также к фронтальной камере для съёмки «селфи».

Кратко о том, что сообщила Google:

• Разработчик может запросить доступ к камере, направленной на мир, указав camera_id=0. В терминологии Android это аналог задней камеры.
• Для получения доступа к фронтальной камере можно запросить camera_id=1.
• Оба видеопотока будут предоставляться через стандартные API Android, такие как Camera2 и CameraX.
• В случае запроса фронтальной камеры приложение получит видеопоток с аватаром пользователя. Этот поток будет сгенерирован на основе данных отслеживания движений головы, рук, глаз и лица с камер гарнитуры.

Влияние на индустрию: Meta и Quest

Компания Meta также готовится предоставить разработчикам доступ к камерам. В сентябре 2024 года на конференции Meta Connect было объявлено, что Quest получит аналогичную возможность в начале 2025 года. Это предполагает, что и другие производители гарнитур стремятся расширить доступ к функциям сквозного просмотра. Это шаг на пути к более широкому использованию технологий компьютерного зрения в устройствах VR и AR.

Новые возможности для Android XR, связанные с доступом к камерам, откроют множество перспектив для разработчиков. Это позволит создавать более сложные и реалистичные приложения.

Индустрия дополненной и виртуальной реальности активно развивается, и расширение функционала камер станет важным этапом на этом пути. В ближайшее время можно ожидать значительных улучшений в пользовательском опыте за счёт использования всех возможностей компьютерного зрения.