Группа исследователей из Китая и Сингапура провела необычный эксперимент. Они обучили искусственный интеллект играть в Red Dead Redemption 2 в рамках проработки концепции общего компьютерного контроля (GCC, General Computer Control). Конечной целью является сложное взаимодействие ИИ с компьютером на уровне человека-пользователя. Такой эксперимент дает представление о границах возможного в продвижении к большому общему ИИ (AGI).

Чтобы заставить ИИ взаимодействовать с игрой исследователи реализовали модульную систему CRADLE из шести модулей. В основе системы модель ИИ GPT-4V, которая получает информацию через визуальные и звуковые сигналы. Система CRADLE может работать с разными играми. Авторы проекта выбрали Red Dead Redemption 2 из-за большого виртуального мира с разными типами активностей и заданий. А дополнительные подсказки, интерфейс и мини-карта должны помогать ИИ-агенту обучаться и понимать информацию. В конечном счете ИИ должен обучаться с нуля, как простой человек, чтобы начать взаимодействовать с игрой и проходить сюжетные мисси.

В целом CRADLE показал умеренные успехи в игре. ИИ смог последовательно выполнить ряд заданий в рамках сюжетной миссии. При этом он не справился с миссиями «Защита Датча», где есть динамичная перестрелка, и «Поиск дома», где необходимо исследовать большую виртуальную среду. Авторы видят слабое место непосредственно в машинной зрении на основе GPT-4V. Данный ИИ с трудом интерпретировал много элементов, были проблемы с пониманием мини-карты и с восприятием препятствий в игровой среде. Пока что GPT-4V не подходит для точного пространственного визуального контроля. Но по мере развития таких ИИ, ситуация явно будет улучшаться.

Источник: Tom’s Hardware