A NVIDIA deu um salto significativo na computação de IA ao apresentar o NVIDIA HGX H200. Baseada na arquitetura NVIDIA Hopper, esta nova plataforma apresenta a GPU NVIDIA H200 Tensor Core, adaptada para IA generativa e cargas de trabalho de computação de alto desempenho (HPC), lidando com grandes volumes de dados com recursos avançados de memória.
A NVIDIA deu um salto significativo na computação de IA ao apresentar o NVIDIA HGX H200. Baseada na arquitetura NVIDIA Hopper, esta nova plataforma apresenta a GPU NVIDIA H200 Tensor Core, adaptada para IA generativa e cargas de trabalho de computação de alto desempenho (HPC), lidando com grandes volumes de dados com recursos avançados de memória.
O H200 se destaca como a primeira GPU a incorporar memória de alta largura de banda (HBM3e), oferecendo memória maior e mais rápida, crucial para IA generativa e modelos de linguagem grande (LLMs) e para o avanço da computação científica para cargas de trabalho de HPC. Possui 141 GB de memória a uma velocidade de 4.8 terabytes por segundo, quase dobrando a capacidade e oferecendo 2.4 vezes mais largura de banda do que seu antecessor, o NVIDIA A100.
Espera-se que os sistemas equipados com H200 dos principais fabricantes de servidores e provedores de serviços em nuvem comecem a ser comercializados no segundo trimestre de 2024. Ian Buck, vice-presidente de hiperescala e HPC da NVIDIA, enfatiza que o H200 melhorará significativamente o processamento de grandes quantidades de dados em alta velocidades, o que é essencial para aplicações generativas de IA e HPC.
A arquitetura Hopper marca uma notável melhoria de desempenho em relação às gerações anteriores, aprimorada ainda mais por atualizações contínuas de software, como o recente lançamento do NVIDIA TensorRT-LLM. O H200 promete quase dobrar a velocidade de inferência em modelos de linguagem grandes como o Llama 2, com mais melhorias de desempenho previstas em futuras atualizações de software.
Especificações do H200
| GPU Nvidia H200 Tensor Core | |
|---|---|
| Fator de Forma | H200SXM |
| FP64 | 34 TFLOPS |
| Núcleo Tensor FP64 | 67 TFLOPS |
| FP32 | 67 TFLOPS |
| Núcleo tensor TF32 | 989 TFLOPS |
| Núcleo tensor BFLOAT16 | 1,979 TFLOPS |
| Núcleo Tensor FP16 | 1,979 TFLOPS |
| Núcleo Tensor FP8 | 3,958 TFLOPS |
| Núcleo tensor INT8 | 3,958 TFLOPS |
| Memória GPU | 141GB |
| Largura de banda da memória da GPU | 4.8 TB / s |
| Decodificadores | 7 NVDEC 7 JPEG.webp |
| Potência térmica máxima de projeto (TDP) | Até 700W (configurável) |
| GPUs de várias instâncias | Até 7 MIGs com 16.5 GB cada |
| Interconexão | NVIDIA NVLink: 900 GB/s PCIe Gen5: 128 GB/s |
| Opções do servidor | Parceiro NVIDIA HGX H200 e sistemas certificados pela NVIDIA com 4 ou 8 GPUs |
Fatores de forma adaptáveis
NVIDIA H200 estará disponível em vários formatos, incluindo placas para servidores NVIDIA HGX H200 em configurações de quatro e oito vias, compatíveis com sistemas HGX H100. Também está disponível no Superchip NVIDIA GH200 Grace Hopper com HBM3e. Recentemente publicamos um artigo no Chip NVIDIA GH200 Grace Hopper. Essas opções garantem a adaptabilidade do H200 em diferentes tipos de data centers, incluindo ambientes locais, em nuvem, em nuvem híbrida e de borda.
Os principais fabricantes de servidores e provedores de serviços em nuvem, incluindo Amazon Web Services, Google Cloud, Microsoft Azure e Oracle Cloud Infrastructure, estão prontos para implantar instâncias baseadas em H200 a partir do próximo ano.
O HGX H200, equipado com interconexões de alta velocidade NVIDIA NVLink e NVSwitch, oferece desempenho superior para diversas cargas de trabalho, incluindo treinamento e inferência para modelos com mais de 175 bilhões de parâmetros. Uma configuração HGX H200 de oito vias fornece mais de 32 petaflops de computação de aprendizagem profunda FP8 e 1.1 TB de memória de alta largura de banda, ideal para aplicações generativas de IA e HPC combinadas com CPUs NVIDIA Grace e a interconexão NVLink-C2C, o H200 forma o GH200 Grace Hopper Superchip com HBM3e, um módulo projetado para aplicações de HPC e IA em grande escala.
O suporte de software full-stack da NVIDIA, incluindo o Pacote NVIDIA AI Enterprise, permite que desenvolvedores e empresas criem e acelerem IA para aplicativos HPC. O NVIDIA H200 estará disponível para fabricantes globais de sistemas e provedores de serviços em nuvem a partir do segundo trimestre de 2024, marcando uma nova era em recursos de IA e HPC.
Envolva-se com a StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed
