Компания NVIDIA совместно с группой исследователей представили модель искусственного интеллекта NitroGen, которая может стать основой для реализации ИИ-агентов, способных взаимодействоовать с игровыми средами и проходить игры. NitroGen обучали на подготовленных видео с геймплеем и наложением элементов управления, используя 40 000 часов 1000 игр из записей на YouTube и Twitch.

NitroGen состоит из универсальной модели визуального восприятия, которая принимает данные и генерирует ответные действия с геймпада, плюс универсальный игровой симулятор для управления любой игрой через API Gymnasium и набор интернет-данных. Это масштабная единая модель с 500 миллионами параметров на архитектуре GR00T с согласованием потоков. Она может воспринимать происходящее и действовать в разнообразных игровых средах с разными игровыми механиками, включая полное 3D, 2D-скроллер, вид сверху и другие варианты. Это касается и игр разного жанра — от платформеров до экшен-RPG. Сама архитектура GR00T изначально создавалась для обучения роботов, но исследователи показали, что она может работать и в виртуальных игровых средах.

Команда разработчиков NitroGen рассматривает эту модель в качестве базовой для дальнейшего обучения специализированных ИИ-агентов, которые смогут взаимодействовать и сами играть в игры. Отметим, что у NVIDIA есть проект игрового помощника Project G-Assist, который пока выступает в качестве советчика по настройкам и выбору режимов. Но нельзя исключать, что в будущем мы увидим этот или другой вариант ассистента с функцией реальной помощи в прохождении игр.