Фотореалистичные аватары теперь создаются всего из четырех селфи

Исследователи Meta разработали передовую «большую модель реконструкции» (LRM), способную за считанные минуты сгенерировать анимированную фотореалистичную голову аватара, используя всего четыре селфи.

Прорыв в создании реалистичных аватаров

На протяжении более шести лет компания Meta активно работает над совершенствованием технологий генерации и анимации гиперреалистичных цифровых образов. В результате ее самые передовые разработки уже преодолели барьер «зловещей долины», обеспечивая непревзойденный уровень реализма.

До сих пор одной из главных сложностей в создании фотореалистичных аватаров оставался объем исходных данных и длительный процесс их обработки. Высочайшее качество изображений требовало сложных специализированных систем захвата с сотнями камер.

Хотя Meta уже демонстрировала технологии упрощенного сканирования с помощью смартфона, этот метод все еще предполагал создание 65 различных мимических выражений в течение трех минут, а последующая обработка занимала несколько часов даже на мощных графических процессорах.

Теперь же в новой научной работе Avat3r специалисты Meta совместно с Мюнхенским техническим университетом представили методику, способную совершить настоящий прорыв в этой сфере. Система формирует реалистичную голову аватара всего на основе четырех фотографий, снятых на смартфон, а сам процесс занимает считанные минуты.

Как работает Avat3r?

Технология Avat3r базируется на концепции «большой модели реконструкции» (LRM), которая использует принципы трансформеров, применяемых в обработке естественного языка, но адаптированных для 3D-визуализации. Такой подход известен как визуальный трансформер (ViT). Он позволяет прогнозировать набор 3D-гауссианов, аналогичных методике гауссовского сплаттинга, которая уже применяется для воссоздания фотореалистичных сцен в проектах вроде Varjo Teleport, Meta’s Horizon Hyperscapes, Gracia и Scaniverse от Niantic.

Несмотря на передовую технологию, на данный момент анимация Avat3r пока не поддерживает управление через датчики отслеживания мимики и движения глаз в VR-гарнитурах. Однако, по мнению разработчиков, нет препятствий для того, чтобы в будущем эта функциональность была интегрирована.

Ограничения и перспективы Avat3r

Хотя новая модель заметно снижает требования к вычислительным ресурсам на этапе генерации, в настоящее время она остается слишком требовательной для рендеринга в реальном времени. В частности, итоговая система демонстрирует производительность всего 8 FPS на видеокарте RTX 3090.

Тем не менее, история развития искусственного интеллекта показывает, что последующие итерации подобных технологий неизбежно приводят к значительной оптимизации. Это означает, что в обозримом будущем владельцы VR-гарнитур смогут легко создавать фотореалистичные аватары, затрачивая на этот процесс всего несколько минут и минимальное количество исходных изображений.