Niantic Spatial SDK v3.15 получил официальную поддержку гарнитур Quest 3 и Quest 3S, открыв разработчикам доступ к новым инструментам и технологиям. Теперь в их распоряжении — высокоточный наружный VPS, способный определять позицию с сантиметровой точностью, а также система динамического построения сетки сцены в реальном времени, работающая на значительных дистанциях. Дополняет этот функционал семантическая сегментация, позволяющая более глубоко интегрировать цифровой контент в реальное окружение.
Такие возможности стали достижимы благодаря изменениям в Horizon OS: Meta разрешила сторонним приложениям работать с камерами сквозного обзора Quest 3 и Quest 3S. Niantic, накопившая почти десятилетний опыт разработки алгоритмов компьютерного зрения, оперативно интегрировала свои наработки в новый SDK.
Релиз состоялся спустя пять месяцев после масштабной реструктуризации компании. Игровое направление Niantic, включая культовую Pokemon Go, перешло в собственность саудовской Scopely, а разработка пространственных технологий оформилась в отдельную организацию — Niantic Spatial.
VPS с точностью до сантиметра
Большинству пользователей знакома GPS — система глобального позиционирования, ставшая привычной частью нашей жизни. Она помогает находить дорогу, обеспечивает работу сервисов доставки и десятков других приложений. Однако даже при идеальных условиях точность GPS редко превышает один метр, а в условиях плотной городской застройки она может снижаться до десятков метров, вынуждая наблюдать, как на карте синяя точка «гуляет» в непредсказуемых направлениях.
Визуальная система позиционирования (VPS) принципиально отличается от GPS. Она использует алгоритмы компьютерного зрения, чтобы определить положение пользователя по уникальным визуальным признакам, считываемым с камеры в реальном времени, и сверяет их с детализированной 3D-картой местности.
VPS функционирует только там, где существует достаточно плотная трёхмерная карта окружения, но в таких условиях обеспечивает позиционирование с точностью до сантиметра. Google применяет эту технологию уже более шести лет в функции пешеходной навигации Google Maps, а разработчики мобильных приложений могут использовать её через ARCore.
Niantic Spatial SDK делает VPS особенно ценным для устройств смешанной реальности. Помимо работы на смартфонах, технология поддерживает Quest 3, Quest 3S и Magic Leap 2. База данных VPS от Niantic насчитывает более миллиона локаций, созданных благодаря сканированиям игроков в Pokemon Go и приложении Scaniverse. Компания утверждает, что её решения обеспечивают «ведущую в отрасли точность» и предоставляют трёхмерные модели общественных пространств.
Первый пакет в 10 000 вызовов API VPS ежемесячно доступен бесплатно, далее стоимость составляет около $0,01 за запрос.
Динамическая сетка сцены
Quest 3 и Quest 3S позволяют сканировать окружающее пространство, создавая 3D-сетку, с которой виртуальные объекты могут взаимодействовать или изменять визуальное восприятие комнаты. Однако у стандартной реализации Meta есть два серьёзных недостатка.
Во-первых, требуется предварительное сканирование, которое может занимать от 20 секунд до нескольких минут, в зависимости от габаритов помещения. Во-вторых, полученные данные фиксируют только момент сканирования: любое перемещение мебели или появление новых объектов потребует повторного процесса, иначе виртуальная сцена будет искажена.
Разработчик Джулиан Тривери ещё весной представил альтернативу — непрерывное построение сетки с помощью Meta Depth API, выложив исходный код в открытый доступ. Но у API глубины есть ограничение — до 4 метров.
Niantic Spatial SDK решает эту проблему: его алгоритмы компьютерного зрения формируют сетку в реальном времени, используя данные с камер сквозного обзора, причём на гораздо больших дистанциях. Это открывает новые возможности для масштабных приложений смешанной реальности.
Стоимость и перспективы
Использование VPS в рамках Niantic Spatial SDK тарифицируется за каждый вызов API, а функции локального компьютерного зрения стоят примерно $0,10 в месяц за одного активного пользователя.
Ожидается, что технология динамического построения сеток станет востребованной в приложениях Quest 3, а расширенные возможности VPS позволят гарнитуре точнее работать в общественных пространствах, даже несмотря на то, что изначально она не проектировалась для уличных условий.
Niantic планирует и дальше развивать SDK: в планах — поддержка новых устройств, оптимизация производительности и внедрение улучшенной окклюзии, а также постоянного распознавания сцены. Компания подчёркивает, что будущие обновления будут во многом зависеть от отзывов разработчиков.
