NVIDIA Hopper H200: Descubre la GPU más veloz del mundo para IA y sus asombrosos 141 GB de memoria HBM3e

NVIDIA ha anunciado hoy su GPU de alta gama para Inteligencia Artificial (IA) generativa y plataformas de Alto Rendimiento (HPC), la Hopper H200. Aunque NVIDIA ha alcanzado el límite de rendimiento de la arquitectura Hopper, la H200 es esencialmente una versión mejorada de la Hopper H100, con mejoras en la memoria.

La necesidad de procesar grandes cantidades de datos a alta velocidad con una memoria de GPU grande y rápida es crucial para las aplicaciones de IA generativa y HPC. La NVIDIA H200, líder en la plataforma de supercomputación de IA de extremo a extremo, ofrece un rendimiento aún más rápido para abordar algunos de los desafíos más importantes del mundo.

La NVIDIA H200 utiliza el mismo chip gráfico con 16.896 CUDA Cores y un proceso de fabricación de 4 nm de TSMC, funcionando a las mismas frecuencias que la H100. Las diferencias principales están en la memoria: mientras que la H100 utiliza hasta 80 GB de memoria HBM3 a 5,2 Gbps, la H200 cuenta con hasta 141 GB a 6,5 Gbps. Esto aumenta el ancho de banda de 2.039 GB/s a 4.800 GB/s, lo que permite ofrecer hasta un 90% más de rendimiento en inferencia en el modelo de lenguaje LLaMA 2 y hasta un 60% en ChatGPT 3.

La introducción de la H200 dará lugar a avances significativos, como la duplicación de la velocidad de inferencia en LLaMA 2 en comparación con H100. Se esperan mejoras adicionales y liderazgo en rendimiento con H200 en futuras actualizaciones de software.

Además, NVIDIA adelantó lo que se puede esperar de una futura B100 en términos de rendimiento. Sólo en ChatGPT 3, se espera que el rendimiento de la NVIDIA B100 sea el doble que el de la Hopper H200. Esta arquitectura está diseñada específicamente para acelerar la Inteligencia Artificial (IA), siendo la nueva gallina de los huevos de oro después de la criptominería. Aunque no se dieron más detalles, se espera que la NVIDIA B100 ofrezca un mayor ancho de banda, superando los 4,8 TB/s actuales de la H200.

En cuanto a las futuras NVIDIA GeForce RTX 50, la compañía se mantuvo en silencio. Con las GeForce RTX 40 SUPER previstas para principios de 2024, aún queda tiempo para un lanzamiento verdaderamente relevante por parte de NVIDIA en este mercado.

Así, la NVIDIA Hopper H200 se convierte en la GPU más rápida del mundo para IA con 141 GB de memoria HBM3e.