Quest SDK v74: микрожесты большого пальца и улучшенный звук

Последняя версия Quest SDK получила поддержку микрожестов большого пальца и обновление Audio To Expression для реалистичной передачи эмоций в VR.

Микрожесты большого пальца в Quest SDK

Обновление Meta SDK для Quest добавляет функцию Microgestures, которая использует отслеживание рук для распознавания движений большим пальцем по указательному пальцу. Это напоминает управление на крестовине Steam Controller. Теперь пользователи могут выполнять нажатия и смахивания пальцем, удерживая руку в стороне и согнув пальцы.

Для использования микрожестов в Unity потребуется Meta XR Core SDK, а для других движков предусмотрено расширение OpenXR XR_META_hand_tracking_microgestures. Meta заявляет, что эта функция позволит реализовать телепортацию с мгновенным поворотом без контроллеров, однако разработчики могут применять её по своему усмотрению.

Такие микрожесты могут упростить навигацию по интерфейсу без необходимости тянуться к элементам управления. Более того, Meta использует аналогичный подход в своем браслете sEMG — устройстве ввода для будущих очков дополненной реальности и HUD-очков, запланированных к выпуску в конце года. Это намекает на возможность использования гарнитуры Quest как платформы для разработки управления в будущих AR-устройствах, хотя для реализации всех функций прототипа Orion потребуется отслеживание взгляда.

Улучшенный звук и выражение эмоций

В Quest SDK v71 Meta представила технологию Audio To Expression — встроенную модель ИИ, которая генерирует реалистичные движения лицевых мышц, основываясь только на аудиосигнале с микрофона. Эта технология заменила устаревший Oculus Lipsync SDK, который поддерживал лишь движения губ.

Новая модель в версии Quest SDK v74 значительно улучшает эмоциональную выразительность, синхронизацию движений рта и точность в передаче неречевых вокализаций. При этом Audio To Expression потребляет меньше ресурсов ЦП, чем предыдущий Oculus Lipsync SDK.

Однако, несмотря на это обновление, Avatars SDK от Meta по-прежнему не использует технологию Audio To Expression и не поддерживает отслеживание тела изнутри наружу.