Компания официально представила новый самый быстрый ускоритель вычислений на базе архитектуры NVIDIA Hopper. Это ускоритель H200 с новой памятью HBM3e и вычислительная платформа HGX H200 на его основе.

NVIDIA H200 — первый ускоритель с новой памятью HBM3e. Благодаря большей емкости стеков эта память позволяет использовать большим объем при рекордной пропускной способности, что критично для больших моделей ИИ. Заявлено, что NVIDIA H200 получит 141 ГБ памяти со скоростью 4,8 терабайт в секунду. Для сравнения нужно отметить, что ускоритель H100 SXM оснащен 80 ГБ HBM3 со скоростью 3,35 Тбайт/с. Данных относительно вычислительных блоков GPU нет, но и изменений относительно H100 вероятно нет.

Упоминается, что переход на новую память улучшил производительность ускорителя в большой языковой модели Llama 2 в 1,9 раза, а производительность в ИИ GPT-3 в 1,6 раза.

Ускоритель NVIDIA H200 доступен в серверных системах NVIDIA HGX H200 в конфигурации на 4 или 8 устройств. Вариант с 8 ускорителями H200 обеспечивает производительность более 32 Пфлопс.

Ранее компания уже анонсировала суперчипы GH200 Grace Hopper с HBM3e. Это гибридная система с ускорителями NVIDIA Hopper и Arm-процессорами NVIDIA Grace. Такая система получила 480 ГБ памяти LPDDR5x 512 Гбайт/с и 144 ГБ HBM3e 5 Тбайт/с.

Поставки систем на базе H200 должны начаться во втором квартале следующего года.