Audio To Expression — новая технология от Meta

Meta представила революционную функцию Audio To Expression , встроенную в обновление Quest v71. Эта инновационная модель искусственного интеллекта позволяет создавать реалистичные движения лицевых мышц с помощью исключительно звукового сигнала, поступающего от микрофона. Без применения дополнительных сенсоров система предлагает точные изображения выраженности лица, что является огромным шагом вперед в развитии VR-технологий.

Как работает Audio To Expression

Audio To Expression – это передовая технология, встроенная непосредственно в устройство, которая использует аудиовход для проведения правоподобных мимических движений. В отличие от варианта Oculus Lipsync SDK , который ограничивал синхронизацию губ с речью, новая разработка расширяет функционал: теперь в процессе обрабатываются щеки, веки и брови.

Мета утверждает, что, несмотря на более широкий спектр возможностей, Audio To Expression потребляет меньше ресурсов центрального процессора по сравнению с предшественником. Это делает необходимые настройки для использования даже на устройствах с ограниченной вычислительной мощностью.

Какие устройства поддерживают Audio To Expression

Технология совместима с большинством актуальных гарнитур от Meta:

• Квест 2, Квест 3 и Квест 3S;
• Quest Pro, хотя эта гарнитура имеет встроенные датчики идентификации лица, которые позволяют отображать мимические выражения пользователей вместо оценочных, созданных моделей ИИ.

На представленном видеоролике Meta видно, насколько сильно совпадают результаты работы Audio To Expression и старого Oculus Lipsync SDK при одинаковых входных данных. Улучшение разработки невооружённым глазом.

Преимущества и применение

Основной функцией новой функции является увеличение реалистичности аватаров в космических пространствах. Особенно это актуально для социальных VR-приложений и множества консольных игр, где пользователи, не являясь профессиональными разработчиками, могут управлять поддержкой мимики своих аватаров.

Кроме того, Audio To Expression может стать находкой для небольших студий и независимых разработчиков, которые хотят внедрить реалистичную имитацию NPC, но не имеют средств на сложную систему захвата лица.

Мета-аватары: технологии будущего

Несмотря на внедрение новых возможностей, собственные мета-аватары пока не упоминаются в Audio To Expression. В настоящий момент они продолжают использовать виртуальный Oculus Lipsync SDK для синхронизации движения губ. Однако разработчики добавили имитацию движения глаз: виртуальные объекты на сцене маркируются с учетом визуальной заметности, что помогает добиться более реалистичного поведения, включая периодическое моргание.

Функция Audio To Expression – это инструмент, который открывает новые горизонты для продвижения правдоподобных эмоций в виртуальной реальности. Мета делает шаг вперед, упрощая процесс создания живых аватаров и персонажей для VR-игр и приложений. Это может стать настоящим прорывом для начинающих предпринимателей и студентов, а также приведет к дальнейшему развитию индустрии.