Исследователи представили новый способ повышения частоты кадров в виртуальной реальности. Вместо того чтобы рендерить изображение для обоих глаз, система синтезирует одно из них, что позволяет значительно улучшить производительность.
Статья, опубликованная под названием «Выполняется только один рендеринг: повышение энергоэффективности и вычислительной мощности мобильной виртуальной реальности», была написана группой ученых из Калифорнийского университета, Университета Колорадо, Университета Небраски и Технологического университета Гуандуна.
Зачем рендерить два изображения, если можно одно?
Стереоскопический рендеринг требует создания отдельного изображения для каждого глаза, что значительно увеличивает нагрузку на систему. Это приводит к ухудшению графической производительности, что делает VR менее привлекательной для пользователей, особенно в автономных гарнитурах, таких как Quest. Даже с оптимизацией для центрального процессора при стереорендеринге графическому процессору приходится обрабатывать оба изображения, что увеличивает время рендеринга.
Новый метод YORO решает эту проблему, рендеря только одно изображение, а второе синтезируя с помощью двух этапов: репроекции и патчинга. Вместо того чтобы рисовать оба изображения с нуля, система эффективно перераспределяет информацию между пикселями и применяет специальные фильтры для синтетического изображения.
Что делает YORO таким эффективным?
Важно отметить, что YORO не использует искусственный интеллект, так что не стоит переживать о “ИИ-галлюцинациях”. Вместо этого применяется вычислительный шейдер, который переносит пиксели одного изображения в пространство второго глаза. На втором этапе система размывает те пиксели, которые перекрываются, что позволяет создать синтетическое изображение без потери качества.
По результатам тестов на Quest 2 с использованием сцены Unity VR Beginner: The Escape Room, метод YORO увеличивает частоту кадров на 32%, с 62 до 82 кадров в секунду. Качество изображения при этом почти не страдает. Однако для объектов, находящихся слишком близко к глазам, синтез может не дать хороших результатов, и в таких случаях рекомендуется использовать обычный стереорендеринг.
Ещё одно ограничение — это отсутствие поддержки прозрачных объектов. Но так как прозрачность требует отдельного рендеринга, использование YORO перед этим процессом может быть вполне логичным.
Исходный код YORO доступен на GitHub, и разработчики уже могут начать интегрировать его в свои проекты. Однако вопрос, будут ли крупные компании, такие как Meta и Apple, внедрять эту технологию на уровне своих SDK, пока остается открытым. Мы будем следить за развитием событий.
