Жесты браслета Meta: как управлять AR-очками с помощью пальцев

Компания Meta раскрыла новые подробности о жестах управления, которые будут доступны пользователям инновационного браслета Meta — устройства, предназначенного для взаимодействия с гарнитурами HUD и очками дополненной реальности. Об этом сообщается в свежей научной публикации в журнале Nature, где исследователи поделились достижениями в области нейроинтерфейсов нового поколения.

Нейроинтерфейс будущего: как работает браслет Meta

В рецензируемой статье, озаглавленной «Универсальный неинвазивный нейромоторный интерфейс для взаимодействия человека с компьютером», представлен браслет, разрабатываемый Meta ещё с 2019 года — после приобретения стартапа CTRL Labs. Главным вдохновителем проекта остаётся Томас Рирдон, нейробиолог и один из основателей CTRL Labs, который по сей день курирует разработку устройства внутри компании.

В основе технологии лежит метод поверхностной электромиографии (sEMG), позволяющий улавливать микросигналы мышц запястья, отвечающих за движение пальцев. Благодаря этому браслет Meta способен точно определять жесты даже тогда, когда рука находится в состоянии покоя. Устройство не требует визуального отслеживания или громких команд — достаточно едва заметного движения пальцев.

Подобный подход открывает путь к естественному управлению цифровыми интерфейсами, не отвлекая пользователя от окружающей обстановки. В опубликованном видеоролике Meta продемонстрировала четыре базовых типа жестов:

• Рисование букв или символов указательным пальцем — ввод текста происходит через преобразование движений в цифровую форму.
• Поворот кисти — управление курсором в одномерном пространстве.
• Проведение большим пальцем по боковой стороне указательного.
• Постукивание или удерживание большого пальца на указательном — аналог нажатия или клика.

Особое внимание в статье уделено универсальности системы: нейроинтерфейс способен адаптироваться к новым пользователям без необходимости индивидуального обучения. Более того, компания опубликовала свыше 100 часов данных sEMG, чтобы поддержать развитие технологий доступности в научном сообществе.

Ceres и Hypernova: следующий шаг для браслета Meta

Описанный в исследовании прототип напоминает ранние демонстрационные версии устройства, впервые показанные в 2021 году. Однако в рамках конференции Meta Connect 2024 компания представила усовершенствованный вариант браслета Meta под кодовым именем Ceres. Это компактное, минималистичное решение предназначено для взаимодействия с экспериментальными AR-очками под названием Orion.

Один из жестов — скольжение большим пальцем по указательному — уже реализован в Meta Quest SDK под названием микрожесты и стал частью демонстрации Ceres. Рендеры устройства и видео с его использованием обнаружены внутри ранней версии прошивки очков формата HUD, о которых ранее сообщали такие издания, как The Verge, Bloomberg, The Financial Times и The Information. Эти очки, вероятно, будут выпущены под названием Meta Celeste, а их кодовое имя — Hypernova.

Согласно утечкам, браслет Meta будет входить в комплект Hypernova, а общая стоимость пакета, как сообщается, составит от 1300 до 1400 долларов США. Помимо жестов, описанных в статье Nature, в прошивке обнаружены и другие формы взаимодействия: например, сближение большого и указательного пальцев, а также горизонтальные или вертикальные движения кистью.

Meta Connect 2025 назначен на 17 сентября, и именно тогда компания, как ожидается, официально представит Celeste и откроет предзаказ. По сведениям от Марка Гурмана, сотрудники Meta трудятся даже в выходные, чтобы успеть к релизу — удастся ли им выполнить обещанное, узнаем уже в октябре.