Вместе с новым поколением видеокарт GeForce RTX 50xxx компания NVIDIA внедряет понятие нейронного рендеринга. Представлен комплект технологий NVIDIA RTX Kit для реализации такого рендеринга и его компонентов. Все это должно обеспечить следующий качественный скачок в развитии трехмерной графики.
Ряд технологий направлен на аппаратные улучшения и оптимизации графического рендера. Все это должно обеспечить следующий качественный скачок в развитии трехмерной графики. Демонстрацией возможностей этих технологией является демо Zorah, видео которого выложено на YouTube.
Выглядит действительно красиво и поражает уровнем детализации реализма.
Компания вводит понятие RTX Neural Shaders. Это небольшие нейронные сети для внедрения в программируемые шейдеры с целью реализации полезных эффектов.
Сейчас есть уже три конкретные технологии в рамках RTX Neural Shaders:
- RTX Neural Texture Compression для сжатия текстур на основе алгоритмов ИИ, что может до 7 раз уменьшить требования к видеопамяти
- RTX Neural Materials для сжатия сложного шейдерного кода материалов для более быстрой их обработки
- RTX Neural Radiance Cache (NRC) для более простого и быстрого просчета отскоков лучей на основе первых траекторий луча
Причем NRC уже входит в состав RTX GI SDK и скоро будет представлен в RTX Remix и Portal RTX. RTX Neural Shaders и RTX Neural Texture Compression SDK будут добавлены в комплект NVIDIA RTX в конце текущего месяца.Microsoft вскоре добавит в DirectX поддержку Cooperative Vectors для ускорения производительности GPU GeForce RTX с технологией RTX Neural Shaders.
В состав NVIDIA RTX Kit также войдет технология RTX Mega Geometry, которая дебютирует в Alan Wake 2 в конце года. Технология оптимизирует трассировку в сценах с большим количеством геометрии, включая движок Unreal Engine 5 с Nanite.
Представлены инструменты RTX Neural Faces для преобразования растеризованного лица с 3D-моделью в более качественную и естественную модель. Сгенерированное лицо создается на основе тысяч изображений в разных условиях и позах. Конвейер обучения может использовать реальные фотографии для генерации модели лица. Также тут используется RTX Character Rendering SDK для волос и кожи.
Дополнит все это технология Audio2Face для синхронизации лицевой анимации с произносимыми словами. К слову, технология уже использовалась в S.T.A.L.K.E.R. 2: Heart of Chornobyl.
Также NVIDIA относит к нейронному рендерингу разные технологии оптимизации шейдеров трассировки лучей. В список входит и DLSS для масштабирования изображения. Технология развивается с 2018 года и вскоре получит революционные обновления в версии DLSS 4. Сюда же относится Reflex для снижения системной задержки ввода.
Источник: Wccftech.com