DLSS 4 и Multi Frame Generation
Набор технологий DLSS развивается уже несколько лет. С момента запуска DLSS в 2018 году было несколько важных обновлений. В состав DLSS сейчас входит технология масштабирования DLSS Super Resolution (SR), а также Ray Reconstruction и Frame Generation, которые появились вместе с GeForce RTX 40-й серии в третьем поколении DLSS. Теперь все они получают важное обновление благодаря переходу на новую модель ИИ для построения изображения.
Ранее NVIDIA использовала сверточные нейронные сети CNN для пиксельных данных. При этом шло постоянное обучение и совершенствование алгоритмов масштабирования, что было хорошо видно по эволюции от первых версий DLSS до DLSS 3.8. Теперь будет использоваться модель-трансформер (Transformer), которая лучше работает с последовательностями данных.
Благодаря этому улучшено качество изображения Super Resolution и стабильность картинки в динамике — картинка четче, меньше ореолов, мерцаний и других привычных артефактов. Transformer обеспечит и лучшее качество изображения при сглаживании DLAA. Также будут визуальные улучшения в работе технологии Ray Reconstruction, которая улучшает отображение сцен со сложным освещением для шумоподавления при интенсивной трассировке.
Продвинутая ИИ-модель Transformer позволила NVIDIA внедрить новую технологию многокадровой генерации Multi Frame Generation (MFG). Технология может создавать до четырех дополнительных кадров.
MFG использует в два раза больше данных для построения, требует более мощных тензорных блоков и процессор AIMP, поэтому технология работает только на новых видеокартах Blackwell.
Главной проблемой генерации является низкая отзывчивость. Новые алгоритмы MFG и Reflex 2 решают эту проблему, и задержка с новой генерацией ниже, чем у старого метода.
Reflex 2
Технология призвана уменьшить задержки между вводом игрока и действием на экране. В первом поколении Reflex были оптимизированы разные этапы графического конвейера, а теперь NVIDIA пошла еще дальше и внедрила деформацию кадра Frame Warp. Пока GPU получает данные кадра для отрисовки, CPU уже просчитывает смещение камеры для следующего кадра на основе движений игрока. Frame Warp получает данные о смещении в последний момент перед отрисовкой кадра и ранее готовности следующего кадра. И при визуализации учитывается это небольшое смещение.
Из-за быстрого изменения данных в кадре возникают пустые пятна в зонах движения объектов. Они заполняются данными соседних кадров. Это прорывной метод для повышения отзывчивости, и он же улучшит восприятие игры при генерации кадров.
Reflex 2 пока работает только на видеокартах GeForce RTX 50, но в будущем ее сделают доступной и для более старых моделей.
Нейронные шейдеры и нейронный рендеринг
В этом поколении NVIDIA вводит новые нейронные шейдеры. И графические процессоры Blackwell создавались специально под новый тип шейдеров.
Шейдер — это программа, которая работает на GPU для управления визуализации графики. На ранних этапах развития графики использовался конвейер с фиксированными функциями. В 2000 году вместе с DirectX 8.0 и OpenGL 1.4 появились вершинные шейдеры. В DirectX 9.0 добавили пиксельные шейдеры, аппаратная поддержка которых была реализована в GeForce 3, выпущенной в 2001 году. Следующим этапом стало внедрение унифицированной шейдерной архитектуры в DirectX 10 в 2006 году. Compute Shaders и тесселяция были добавлены в DirectX 11 в 2009 году. Следующий API DirectX 12 расширил возможности геометрического конвейера за счет Primitive и Mesh Shaders, а также была добавлена трассировка лучей с ускорением структуры BVH (Bounding Volume Hierarchy) для просчета пересечения луча с геометрией сцены.
Нейронные шейдеры (Neural Shaders) станут новым этапом развития графики. Первые шейдеры уже доступны для Blackwell, и новые реализации могут внедряться в будущем. В нейронных шейдерах разработчик может использовать небольшие нейронные сети для аппроксимации результата вместо детального кода для всех функций. Neural Shaders позволяют обучать нейронные сети для эффективных приближений сложных алгоритмов, которые вычисляют, как свет взаимодействует с поверхностями, эффективно распаковывают текстуры, которые хранятся в видеопамяти в сжатом виде, предсказывают непрямое освещение на основе ограниченных данных и приблизительное подповерхностное рассеивание света. И это лишь некоторые варианты применения нейронных шейдеров, со временем их будет больше, и такой тип шейдеров когда-то может стать основным в 3D-графике.
NVIDIA уже предлагает несколько готовых к внедрению технологий на базе нейронных шейдеров.
RTX Neural Materials — для нейронной аппроксимации математических моделей сложных многослойных материалов
RTX Neural Texture Compression (NTC) — для более эффективного сжатия и распаковки текстур материалов, что также снижает использование видеопамяти
Neural Radiance Cache (NRC) — для оптимизации и повышения производительности трассировки с выводом данных после одного отскока луча вместо множества отскоков на основе усредненной оценки и моделирования того, как бы выглядела сцена.
RTX Skin — для оптимизации подповерхностного рассеивания с трассировкой для кожи
RTX Neural Faces — для генерации более качественных 3D-моделей лиц.
Все они являются частью набора технологий для нейронного рендеринга NVIDIA RTX Kit, куда также входят технология фильтрации RTX Texture Filtering, RTX Global Illumination и RTX Dynamic Illumination для работы с освещением, RTX Path Tracing для интеграции трассировки пути. Сюда же относится и RTX Mega Geometry.
В основном все это ориентировано на качественные режимы рендера с трассировкой, чтобы улучшить производительность именно в таких режимах.
RTX AI PC. Технологии ИИ для игр и создателей контента
Уже семь лет компания NVIDIA продвигает технологии ИИ. В 2018 году была представлена первая версия DLSS, через год появилась инициатива NVIDIA Studio, позднее технологии ИИ для трансляций, в 2023 году запустили RTX Video для улучшения потокового видео, а в прошлом году появился умный чат-бот ChatRTX.
Теперь в рамках развития концепции RTX AI PC компания запускает набор микросервисов NVIDIA NIM, которые используют генеративный ИИ и разные инструменты для разработки. Сюда относятся разные ИИ-агенты для работы с программным кодом, изображениями, языковыми моделями и прочее. Они просты для внедрения, могут подключаться через облако или работать локально через стандартные API, оптимизированы для выполнения на видеокартах GeForce RTX
NVIDIA внедряет технологии ИИ не только в сферу рендера. В играх важное значение имеет мир с неигровыми персонажами. Набор технологий в рамках платформы NVIDIA ACE (Avatar Cloud Engine) призван оживать NPC, сделать их умнее и вывести общение с ними на новый уровень. Задача таких автономных персонажей взаимодействие с игроком, восприятие, способность к познанию и действиям вместе с генерацией речи и анимацией в соответствии с этими действиями.
Технологии NVIDIA ACE уже внедряются игровым разработчиками. Audio2Face использовалась в Alien: Rogue Incursion и S.T.A.L.K.E.R. 2 для адаптации лицевой анимации под речь. И теперь компания предлагает уже вторую версию этой технологии. Среди новых инструментов — преобразование текста в анимацию движений тела. А RTX Neural Faces, RTX Skin и RTX Hair можно использовать для реалистичной генерации лиц персонажей.
На базе NVIDIA ACE будут реализованы умные напарники в PUBG: Battlegrounds. Разработчики даже ввели новый термин CPC (Co-Playable Character) — этот персонаж действует с вами в команде, помогает и реагирует на ваши команды.
Аналогичных напарников в будущем добавят в Naraka: Bladepoint. Умные NPC появятся в симуляторе жизни inZOI — они будут планировать свой распорядок дня, принимать решения и реагировать на события, каждый будет обладать своим характером, памятью и будет выстраивать свои отношения с другими NPC.
Видеокарты Blackwell расширяют возможности для создателей контента. Архитектура, ориентированная на вычисления ИИ, обеспечит серьезное преимущество в различных генеративных сервисах. Например, генерация изображения в модели Flux с применением нового формата FP4 в три раза быстрее на RTX 5090, чем на RTX 4090. А набор сервисов NIM упростит работы с изображениями и графикой.
Мы уже упоминали поддержку формата кодирования цвета 4:2:2, что позволяет работать с контентом с полупрофессиональных и профессиональных камер. А усиленный кодировщик обеспечит быструю обработку и кодирование видео высокого разрешения.
В сочетании с многопоточным аппаратным ускорением вы получаете лучшее решение для видеомонтажа и работы с несколькими видеопотоками.
Для стримеров компания NVIDIA предлагает приложение Streamlabs Intelligent Streaming Assistant для простой технической настройки параметров стрима и элементов интерфейса. Знакомое приложение для трансляций NVIDIA Broadcast получит новые функции для улучшения качества звука, удаления и создания фона, коррекции освещения.
C NVIDIA Broadcast вы получите качество звука и картинки лучше, чем изначально обеспечивает ваш микрофон и камера.
GeForce RTX 5090 является ультимативным решением для 3D-рендера. Прирост производительности в программах рендера от 40% и выше (относительно GeForce RTX 4090), плюс высокий объем памяти и поддержка новых технологий.
