PLACA DE VIDEO GPU NVIDIA H200 Potenciando las cargas de trabajo de IA y HPC
GPU NVIDIA H200
Potenciando las cargas de trabajo de IA y HPC.
Mayor rendimiento con memoria más grande y rápida.
Basada en la arquitectura NVIDIA Hopper™ , la NVIDIA H200 es la primera GPU que ofrece 141 gigabytes (GB) de memoria HBM3e a 4,8 terabytes por segundo (TB/s), casi el doble de la capacidad de la GPU NVIDIA H100, con un ancho de banda de memoria 1,4 veces mayor. La memoria más grande y rápida de la H200 acelera la IA generativa y los modelos de lenguaje natural (LLM), a la vez que impulsa la computación científica para cargas de trabajo de computación de alto rendimiento (HPC) con mayor eficiencia energética y menor coste total de propiedad.
Especificaciones preliminares. Pueden estar sujetas a cambios.
Llama2 13B: ISL 128, OSL 2K | Rendimiento | H100 SXM 1x GPU BS 64 | H200 SXM 1x GPU BS 128
GPT-3 175B: ISL 80, OSL 200 | x8 H100 SXM GPUs BS 64 | x8 H200 SXM GPUs BS 128
Llama2 70B: ISL 2K, OSL 128 | Rendimiento | H100 SXM 1x GPU BS 8 | H200 SXM 1x GPU BS 32.
Descubra información valiosa con la inferencia LLM de alto rendimiento.
En el panorama en constante evolución de la IA, las empresas confían en los sistemas de gestión de aprendizaje automático (LLM) para abordar diversas necesidades de inferencia. Un acelerador de inferencia de IA debe ofrecer el máximo rendimiento con el menor coste total de propiedad (TCO) cuando se implementa a gran escala para una base de usuarios masiva.
La H200 aumenta la velocidad de inferencia hasta en 2 veces en comparación con las GPU H100 al manejar modelos LLM como Llama2.
