NVIDIA опубликовала официальные данные тестов производительности MLPerf Inference v3.1 на самых быстрых в мире графических процессорах для искусственного интеллекта, включая ускоритель NVIDIA Hopper H100, суперчип GH200 и ускоритель L4.
Новый бенчмарк MLPerf Inference v3.1 включает широкий спектр отраслевых тестов для сценариев использования ИИ. Это обработка естественного языка, большие языковой модели, распознавания речи, классификации изображений, медицинской визуализации, обнаружения объектов и другие задачи.
В бенчмарк также включены новые тесты DLRM-DCNv2 и GPT-J 6B. Первый использует новый межуровневый алгоритм для предоставления более качественных рекомендаций и имеет вдвое большее количество параметров по сравнению с предыдущей версией. GPT-J представляет большую языковую модель LLM на базе модели с открытым исходным кодом GPT 2021 года.
Ускоритель Hopper H100 сравнивается с конкурентами Intel (HabanaLabs), Qualcomm (Cloud AI 100) и Google (TPUv5e), показывая существенный отрыв от них.
Утверждается, что недавно представленный суперчип GH200 быстрее еще на 17%. Графический процессор Hopper GH200 использует ту же конфигурацию ядер, что и H100, но эта платформа усилена дополнительными CPU Grace.
Приведённые результаты получены месяц назад, поскольку требуют официальной сертификации. Но недавно был представлен программный стек TensorRT-LLM, который ускоряет Hopper в задачах ИИ. То есть актуальная производительность устройств Hopper еще выше.
Источник: Wccftech.com