Графические ускорители для вычислений NVIDIA H100 и вычислительные платформы на их основе являются самым быстрым решением для ИИ. Это в очередной раз доказано результатами суперкомпьютера NVIDIA Eos в специализированных отраслевом тесте MLPerf AI Benchmarks. Это впечатляющая система с 10 752 графическими процессорами NVIDIA H100 и сетью на базе NVIDIA Quantum-2 InfiniBand.

NVIDIA Eos завершил обучающий тест на основе модели GPT-3 со 175 миллиардами параметров, обученных на одном миллиарде токенов, всего за 3,9 минуты. Это огромный прирост по сравнению с предыдущим рекордом, когда суперкомпьютер выполнить тот же тест за 10,9 минуты, т.е. в три раза медленнее. Причем прошлый рекорд был установлен всего лишь три месяца назад. Такой рост производительности обусловлен увеличением количества ускорителей в этом суперкомпьютере в три раза.

Сейчас NVIDIA Eos насчитывает 10 752 графических процессоров NVIDIA H100. Высокая эффективность такой системы связана с высоким уровнем программной оптимизации и масштабирования. Увеличение числа активных графических процессоров в 3 раза привело к увеличению производительности в 2,8 раза, что соответствует коэффициенту эффективности 93 %.

Эффективное масштабирование является ключевым требованием в генеративном искусственном интеллекте, поскольку объемы LLM растут на порядок каждый год. Последние результаты показывают способность NVIDIA решить эту беспрецедентную задачу даже для крупнейших центров обработки данных.

Источник: NVIDIA