AMD supera a NVIDIA en IA: el sorprendente MI300X ofrece el doble de velocidad en vLLM y mejora un 30% en TensorRT-LLM frente al H100

Para nosotros, el lanzamiento de las GPU suele centrarse en el gaming, con modelos como NVIDIA RTX, AMD RX o Intel Arc. Sin embargo, para las compañías centradas en IA, las GPU de NVIDIA y AMD para IA son las más codiciadas. Las grandes empresas optarán por aquellas que ofrezcan el mejor rendimiento con un precio acorde. Después de ver cómo NVIDIA superaba a lo mejor de AMD hace unos días, ahora AMD ha vuelto a declararse victorioso utilizando software optimizado para IA, donde la MI300X con vLLM supera a la H100 utilizando TensorRT-LLM.

ChatGPT podría considerarse el catalizador que disparó el interés en la IA. Teniendo en cuenta que solo ha pasado un año desde su lanzamiento en noviembre de 2022, es sorprendente cómo ha cambiado todo. Las compañías han dejado de lado otros sectores y se han centrado en la inteligencia artificial, considerada como uno de los mercados más importantes en la actualidad tecnológica. NVIDIA, en particular, ha aumentado sus ingresos gracias a la velocidad de sus GPU para IA.

AMD no se rinde y su GPU MI300X con vLLM es un 30% más rápida que la H100 con TensorRT-LLM

La empresa que ofrezca el mejor rendimiento en IA atraerá a clientes de servidores y centros de datos, además de aquellos que utilizarán el hardware para entrenar modelos de IA propios. NVIDIA ha logrado liderar las ventas en este aspecto y hace unos días mostró cómo su H100 era el doble de rápida que la MI300X de AMD, la GPU más potente de AMD para IA.

NVIDIA superó a AMD en inferencia, demostrando que la MI300X no podía competir, y acusó a AMD de hacer trampas. Ahora, AMD ha contraatacado utilizando software IA optimizado, mostrando que en pruebas de rendimiento de inferencia con el modelo Llama 2 70B (creado por Meta), la MI300X supera ampliamente a la NVIDIA H100 HGX en vLLM. Al utilizar TensorRT-LLM en NVIDIA y vLLM en AMD, AMD vuelve a ganar con un 30% de rendimiento adicional y una latencia ligeramente menor que la de NVIDIA.

AMD acusa a NVIDIA de comparaciones injustas de rendimiento en IA

Ahora es AMD quien acusa a NVIDIA de comparaciones injustas debido a varias razones. Se utilizó TensorRT-LLM en las H100 en lugar de vLLM, lo que favorece el rendimiento de NVIDIA en algo que AMD no puede usar. Además, AMD afirma que las pruebas realizadas por NVIDIA no eran equitativas, ya que usaron FP16 para la GPU Instinct MI300X y FP8 en las H100. AMD también sugiere que NVIDIA invirtió los datos de rendimiento publicados por AMD con respecto a la latencia relativa.

Las pruebas de rendimiento publicadas ahora buscan una comparativa “más justa” con su rival, mostrando que incluso utilizando TensorRT-LLM en las NVIDIA no es suficiente para ganar a AMD. Con seguridad, ambas compañías continuarán compitiendo para establecer su supremacía en IA, ya que hay muchas ventas en juego. NVIDIA planea lanzar sus próximas H200 en 2024, que usarán la arquitectura Blackwell y serán aún más rápidas.

Así, AMD responde a NVIDIA en IA: la MI300X es el doble de rápida en vLLM y un 30% mejor en TensorRT-LLM que la H100, según informa El Chapuzas Informático.