Meta представила Meta Wearables Device Access Toolkit — свежий SDK, который позволит разработчикам напрямую работать с умными очками и расширять их функционал. Первые версии инструментария станут доступны уже в этом году.
Как работает Meta Wearables Device Access Toolkit
С выпуском нового SDK создатели мобильных приложений получат доступ к ключевым элементам очков — камере, динамикам и микрофонам. Для использования этих функций пользователю потребуется вручную выдавать разрешение каждому приложению.
Разработчики смогут подключать прямые трансляции или запись от первого лица, а также отправлять изображение с камеры во внешние мультимодальные модели искусственного интеллекта. Это откроет путь к созданию приложений с уникальными сценариями использования.
На старте Meta Wearables Device Access Toolkit не будет взаимодействовать с Meta AI. Однако разработчики могут сами выстраивать интеграции, организуя непрерывную аудиопередачу и пересылая изображения на сторонние модели. Правда, это может влиять на автономность устройств. В компании отмечают, что полноценная интеграция с Meta AI рассматривается как одно из приоритетных направлений будущего развития SDK.
Ограничения и перспективы SDK
Инструментарий пока не поддерживает отправку изображений на Meta Ray-Ban Display HUD и работу с жестами через Meta Neural Band. Тем не менее, Meta заявляет, что уже изучает, каким образом реализовать эти функции в будущем.
Для получения доступа к предварительной версии SDK разработчикам необходимо пройти регистрацию.
Ранние примеры использования
Meta уже предоставила раннюю версию Meta Wearables Device Access Toolkit партнёрам, включая Twitch, Microsoft, Logitech Streamlabs и Disney.
Twitch и Logitech Streamlabs используют SDK для трансляции видео от первого лица на своих платформах, по аналогии с тем, как это работает в Instagram. Microsoft интегрирует инструментарий в Seeing AI — сервис, помогающий людям с нарушениями зрения ориентироваться в пространстве.
Любопытный кейс демонстрирует приложение 18Birdies. Оно применяет SDK, чтобы в реальном времени рассчитывать расстояния на поле для гольфа и подсказывать игроку подходящий клюшку, избавляя от необходимости доставать смартфон.
Команда Disney Imagineering тестирует возможность внедрения инструментария для создания персонального ИИ-гидa в парках развлечений Disney, который будет сопровождать гостей и давать индивидуальные рекомендации.
Зачем разработчикам новый SDK
Появление Meta Wearables Device Access Toolkit открывает простор для экспериментов. Разработчики получают шанс внедрять необычные сценарии использования умных очков, от трансляций до персонализированных помощников. Для пользователей это значит больше удобных функций и интеграций, а для Meta — новый шаг в развитии экосистемы носимых устройств.
