AMD compara desempenho do Instinct MI300X com GPU NVIDIA H100 em novos benchmarks de IA

Postado em: 31/08/2024 | Por: Emerson Alves

A AMD revelou resultados de testes de benchmark que comparam o desempenho de seu acelerador Instinct MI300X com a GPU NVIDIA H100, destacando avanços no processamento de IA generativa.

Na última quarta-feira (28), a AMD divulgou os resultados de testes de benchmark realizados com sua linha de aceleradores Instinct MI300X, projetada para lidar com o processamento massivo de inteligência artificial (IA) generativa. Os testes compararam o desempenho do MI300X com a renomada GPU H100 da NVIDIA, utilizando o modelo de linguagem LLama2-70B da Meta.

Leia também: Advogados e magistrados discutem dilemas da Inteligência Artificial em simpósio na OAB/MS.

Desempenho comparado: AMD vs. NVIDIA

Em um sistema equipado com oito unidades do Instinct MI300X, o desempenho alcançado foi de 21.028 tokens por segundo no modo “servidor” e 23.514 tokens por segundo no modo off-line. Esses resultados foram obtidos em uma plataforma que utilizava o processador EPYC da linha “Genoa” da AMD.

Por outro lado, o sistema rival da NVIDIA, composto por oito unidades de GPU H100 emparelhadas com um processador Xeon da Intel, atingiu 21.605 tokens por segundo no modo servidor e 24.525 tokens por segundo no modo off-line. Isso mostra que, embora a AMD esteja próxima em termos de desempenho, os números da NVIDIA ainda são ligeiramente superiores em alguns cenários.

Resultados com o processador EPYC “Turin”

Quando testado com o processador EPYC “Turin”, o Instinct MI300X apresentou uma melhoria no desempenho, atingindo 22.021 tokens por segundo no modo servidor, superando ligeiramente a GPU H100 da NVIDIA. No entanto, no modo off-line, a AMD ainda ficou atrás, com 24.110 tokens por segundo, em comparação aos 24.525 tokens por segundo da NVIDIA.

Vantagens do Instinct MI300X

Uma vantagem significativa do Instinct MI300X sobre a H100 da NVIDIA é a capacidade de memória. O MI300X suporta até 192 GB de memória HBM3, permitindo que ele execute um modelo de 70 bilhões de parâmetros em uma única GPU, eliminando a necessidade de dividir modelos em várias GPUs e evitando a sobrecarga de rede associada. Em comparação, a NVIDIA H100 suporta até 80 GB de HBM3, com uma largura de banda de até 3,35 TB/s, enquanto o MI300X oferece uma largura de banda de pico de 5,3 TB/s.

O futuro dos aceleradores da AMD

A AMD já anunciou que, em 2025, lançará a próxima geração de aceleradores com o Instinct MI350, baseado na arquitetura CDNA 4. Este novo modelo será fabricado com litografia de 3 nanômetros e promete um aumento de desempenho de inferência de IA de até 35 vezes em comparação com a linha atual baseada em CDNA 3.

Esses avanços mostram que a AMD está firmemente posicionada para competir com a NVIDIA no mercado de aceleradores de IA, oferecendo soluções que combinam alta capacidade de memória e eficiência de processamento, essenciais para o futuro da inteligência artificial.