A arquitetura NVIDIA Hopper ocupou o centro do palco durante o NVIDIA GTC com o foco em alimentar a próxima onda de data centers de IA. Batizada com o nome de Grace Hopper, uma cientista da computação pioneira nos Estados Unidos, a plataforma de computação acelerada de última geração oferece um desempenho de ordem de magnitude em relação à sua antecessora, NVIDIA Ampere.
A arquitetura NVIDIA Hopper ocupou o centro do palco durante o NVIDIA GTC com o foco em alimentar a próxima onda de data centers de IA. Batizada com o nome de Grace Hopper, uma cientista da computação pioneira nos Estados Unidos, a plataforma de computação acelerada de última geração oferece um desempenho de ordem de magnitude em relação à sua antecessora, NVIDIA Ampere.
A NVIDIA também anunciou sua primeira GPU baseada em Hopper, a NVIDIA H100, com 80 bilhões de transistores. Apresentado como o maior e mais poderoso acelerador do mundo, o H100 apresenta um Transformer Engine e uma interconexão NVIDIA NVLink altamente escalável para o avanço de gigantescos modelos de linguagem AI, sistemas de recomendação profunda, genômica e gêmeos digitais complexos.
“Os data centers estão se tornando fábricas de IA – processando e refinando montanhas de dados para produzir inteligência”, disse Jensen Huang, fundador e CEO da NVIDIA. “NVIDIA H100 é o motor da infraestrutura de IA do mundo que as empresas usam para acelerar seus negócios orientados por IA.”
Tecnologia H100
Construído usando um processo TSMC 4N de ponta projetado para as necessidades de computação aceleradas da NVIDIA, o H100 apresenta avanços significativos para acelerar AI, HPC, largura de banda de memória, interconexão e comunicação, incluindo conectividade externa de quase 5 TB/s. O Hopper H100 é o primeiro GPU a suportar PCIe Gen5 e utilizar HBM3, (High Bandwidth Memory 3), permitindo 3 TB/s de largura de banda de memória. Vinte GPUs H100 podem sustentar o equivalente ao tráfego de internet do mundo inteiro, possibilitando que os clientes forneçam sistemas avançados de recomendação e grandes modelos de linguagem executando inferência em dados em tempo real.
A escolha para o processamento de linguagem natural, o Transformer Engine é um dos modelos de aprendizado profundo mais importantes já inventados. O Transformer Engine do acelerador H100 foi desenvolvido para acelerar essas redes em até 6x em relação à geração anterior sem perder a precisão.
Com a tecnologia Multi-Instance GPU (MIG), a arquitetura Hopper permite que uma única GPU seja particionada em sete instâncias menores e totalmente isoladas para lidar com diferentes tipos de tarefas. Ao estender os recursos de MIG em até 7 vezes em relação à geração anterior, a arquitetura Hopper oferece configurações multilocatário seguras em ambientes de nuvem em cada instância de GPU.
O H100 é o primeiro acelerador do mundo com recursos de computação confidenciais para proteger modelos de IA e dados de clientes durante o processamento. Os clientes também podem aplicar a computação confidencial ao aprendizado federado para setores sensíveis à privacidade, como assistência médica, serviços financeiros e infraestruturas de nuvem compartilhada.
O NVIDIA NVLink de 4ª geração combina com um novo switch NVLink externo, estendendo-o como uma rede de expansão além do servidor, conectando até 256 GPUs H100 com largura de banda 9x maior em comparação com a geração anterior usando NVIDIA HDR Quantum InfiniBand.
A NVIDIA H100 pode ser implantada em praticamente todos os datacenters, incluindo local, nuvem, nuvem híbrida e borda, e espera-se que esteja disponível ainda este ano.
Sistema DGX H100
A NVIDIA anunciou o sistema DGX de quarta geração, DGX H100, com oito GPUs H100, oferecendo 32 petaflops de desempenho de IA com a nova precisão FP8, fornecendo a escala para atender aos enormes requisitos de computação de grandes modelos de linguagem, sistemas de recomendação, pesquisa em saúde e ciência climática .
Cada sistema DGX H100 inclui oito GPUs H100, conectadas como uma pela NVLink de quarta geração, oferecendo conectividade de 900 GB/s, um aumento de 1.5 vezes em relação à geração anterior. O NVLink da NVIDIA é uma interconexão GPU-a-GPU sem perdas e baixa latência que inclui recursos de resiliência, como detecção de erros no nível do link e mecanismos de reprodução de pacotes para garantir a entrega de dados bem-sucedida.
Além do NVLink de quarta geração, o H100 também apresenta a nova interconexão de rede NVLink. Esta versão escalável do NVLink permite a comunicação de GPU para GPU de até 256 GPUs em vários nós de computação. A NVIDIA também introduziu a tecnologia NVSwitch de terceira geração, que inclui switches internos e externos para conectar várias GPUs em servidores, clusters e ambientes de data center. Um nó com o novo NVSwitch fornece 64 portas de NVLinks para acelerar a conectividade multi-GPU, quase dobrando o throughput total do switch de 7.2 Tbits/s para 13.6 Tbits/s. O NVSwitch permite que todas as oito GPUs H100 se conectem por meio do NVLink. Um switch NVLink externo pode conectar até 32 nós DGX H100 na próxima geração de supercomputadores NVIDIA DGX SuperPOD.
Superchip de CPU Grace
A NVIDIA anunciou o Grace CPU Superchip, embalado com 144 núcleos Arm em um único soquete. Esta é a primeira CPU de data center discreta baseada em Arm Neoverse projetada para infraestrutura de IA e computação de alto desempenho, oferecendo o dobro da largura de banda de memória e eficiência energética.
O subsistema de memória consiste em memória LPDDR5x com código de correção de erro para equilíbrio de velocidade e consumo de energia. O subsistema de memória LPDDR5x dobra a largura de banda dos designs DDR5 tradicionais em 1 TB/s enquanto consome muito menos energia.
O Grace CPU Superchip executará todas as pilhas de software de computação da NVIDIA, incluindo NVIDIA RTX, NVIDIA HPC, NVIDIA AI e Omniverse. O Grace CPU Superchip junto com as placas de rede NVIDIA ConnectX-7 oferecem a flexibilidade de serem configurados em servidores como sistemas autônomos somente de CPU ou como servidores acelerados por GPU com uma, duas, quatro ou oito GPUs baseadas em Hopper, permitindo que os clientes otimizem o desempenho para suas cargas de trabalho específicas, mantendo uma única pilha de software.
Sistema de Computação Omniverse
Mantendo o foco no data center, a NVIDIA anunciou o NVIDIA OVX, um sistema de computação projetado para alimentar gêmeos digitais em larga escala. Um gêmeo digital é um mundo virtual conectado ao mundo físico. O NVIDIA OVX foi projetado para operar simulação de gêmeos digitais complexos que serão executados no NVIDIA Omniverse, uma simulação de mundo fisicamente precisa em tempo real e uma plataforma de colaboração de design 3D.
Combinando computação acelerada por GPU de alto desempenho, gráficos e IA com acesso de armazenamento de baixa latência e alta velocidade, o sistema OVX fornecerá o desempenho necessário para a criação de gêmeos digitais com precisão do mundo real. O OVX pode simular gêmeos digitais complexos para modelar edifícios, fábricas, cidades e o mundo.
O servidor OVX inclui oito GPUs NVIDIA A40, três NICs ConnectX-6 DX 200 Gbps, 1 TB de memória e 16 TB de armazenamento NVMe. O sistema OVX escala de um único pod de oito servidores OVX para um OVX SuperPOD com 32 servidores conectados via switch NVIDIA Spectrum-3 ou vários SuperPODs OVX.
Kit de desenvolvedor Jetson AGX Orin
A NVIDIA também anunciou a disponibilidade do Jetson AGX Orin Developer kit, um supercomputador AI compacto e com baixo consumo de energia para robótica avançada, máquinas autônomas e computação integrada e de borda de última geração. As especificações do Jetson AGX Orin são impressionantes, fornecendo 275 trilhões de operações por segundo, mais de 8 vezes o poder de processamento do modelo anterior, mantendo um fator de forma do tamanho da palma da mão. Apresentando a GPU de arquitetura NVIDIA Ampere, CPUs Arm Cortex-A78AE, aprendizado profundo de última geração e aceleradores de visão, largura de banda de memória mais rápida, interfaces de alta velocidade e sensor multimodal, o Jetson AGX Orin pode alimentar vários pipelines de aplicativos de IA simultâneos.
Os clientes que usam Jetson AGX Orin podem aproveitar toda a pilha de computação acelerada NVIDIA CUDA-X, com 60 atualizações para sua coleção de bibliotecas, ferramentas e tecnologias. Eles também terão acesso total ao NVIDIA JetPack SDK, modelos pré-treinados do catálogo NVIDIA NGC e as estruturas e ferramentas mais recentes para desenvolvimento e otimização de aplicativos, como NVIDIA Isaac on Omniverse, NVIDIA Metropolis e NVIDIA TAO Toolkit.
Espectro NVIDIA-4
Mantendo o foco no data center, a NVIDIA anunciou sua plataforma NVIDIA Spectrum-4 Ethernet. O switch de última geração oferece 400 Gbps de ponta a ponta com taxa de transferência de comutação 4 vezes maior do que as gerações anteriores. O Spectrum-4 inclui ConnectX-7 SmartNIC, BlueField-3 DPLU e software de infraestrutura de data center DOCA.
Construídos para IA, os switches Spectrum-4 permitem precisão de nanossegundos, aceleram, simplificam e protegem a malha de rede com largura de banda 2x mais rápida por porta, 4x menos switches e 40% menos consumo de energia do que as gerações anteriores. Com largura de banda ASIC agregada de 51.2 Tbps, suporte para 128 portas de 400 GBE, roteamento adaptável e mecanismos aprimorados de controle de congestionamento, o Spectrum-4 otimiza o RDMA sobre malhas Ethernet convergentes, acelerando drasticamente os data centers.
Embrulhar
O evento GTC da NVIDIA foi repleto de atualizações de novos produtos para software, desempenho e velocidade. Muito foco no data center, mas também abordando o público de robôs móveis autônomos (AMR) e, é claro, de ponta. O destaque do programa foi a GPU Hopper H100, mas esse produto empatou em muitos dos outros anúncios. NVIDIA colocou todos os comunicados de imprensa e destaques do blog aqui, e vale a pena dar uma olhada.
Envolva-se com a StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | Facebook | TikTok | RSS feed
