NVIDIA Hopper-architectuur stond centraal tijdens NVIDIA GTC met de focus om de volgende golf van AI-datacenters aan te drijven. Genoemd naar Grace Hopper, een baanbrekende Amerikaanse computerwetenschapper, levert het versnelde computerplatform van de volgende generatie een orde van grootte ten opzichte van zijn voorganger, NVIDIA Ampere.
NVIDIA Hopper-architectuur stond centraal tijdens NVIDIA GTC met de focus om de volgende golf van AI-datacenters aan te drijven. Genoemd naar Grace Hopper, een baanbrekende Amerikaanse computerwetenschapper, levert het versnelde computerplatform van de volgende generatie een orde van grootte ten opzichte van zijn voorganger, NVIDIA Ampere.
NVIDIA kondigde ook zijn eerste op Hopper gebaseerde GPU aan, de NVIDIA H100, boordevol 80 miljard transistors. Aangeprezen als 's werelds grootste en krachtigste accelerator, beschikt de H100 over een Transformer Engine en een zeer schaalbare NVIDIA NVLink-interconnect voor het bevorderen van gigantische AI-taalmodellen, diepe aanbevelingssystemen, genomics en complexe digitale tweelingen.
"Datacenters worden AI-fabrieken - ze verwerken en verfijnen bergen gegevens om intelligentie te produceren", zegt Jensen Huang, oprichter en CEO van NVIDIA. "NVIDIA H100 is de motor van 's werelds AI-infrastructuur die ondernemingen gebruiken om hun AI-gestuurde activiteiten te versnellen."
H100-technologie
Gebouwd met behulp van een geavanceerd TSMC 4N-proces dat is ontworpen voor NVIDIA's versnelde rekenbehoeften, biedt H100 aanzienlijke verbeteringen om AI, HPC, geheugenbandbreedte, interconnectie en communicatie te versnellen, waaronder bijna 5TB/s externe connectiviteit. De Hopper H100 is de eerste GPU die PCIe Gen5 ondersteunt en HBM3 (High Bandwidth Memory 3) gebruikt, wat een geheugenbandbreedte van 3TB/s mogelijk maakt. Twintig H100 GPU's kunnen het equivalent van het wereldwijde internetverkeer aan, waardoor klanten geavanceerde aanbevelingssystemen en grote taalmodellen kunnen leveren die in realtime inferentie op gegevens uitvoeren.
De Transformer Engine, de keuze voor natuurlijke taalverwerking, is een van de belangrijkste deep learning-modellen die ooit zijn uitgevonden. De Transformer Engine van de H100-versneller is gebouwd om deze netwerken maar liefst 6x te versnellen ten opzichte van de vorige generatie zonder aan nauwkeurigheid in te boeten.
Met Multi-Instance GPU (MIG)-technologie maakt de Hopper-architectuur het mogelijk een enkele GPU te verdelen in zeven kleinere, volledig geïsoleerde instanties om verschillende soorten taken te verwerken. Door MIG-mogelijkheden tot 7x uit te breiden ten opzichte van de vorige generatie, biedt de Hopper-architectuur veilige multi-tenant configuraties in cloudomgevingen voor elke GPU-instantie.
De H100 is 's werelds eerste accelerator met vertrouwelijke rekenmogelijkheden om AI-modellen en klantgegevens tijdens de verwerking te beschermen. Klanten kunnen ook vertrouwelijk computergebruik toepassen op gefedereerd leren voor privacygevoelige sectoren zoals de gezondheidszorg, financiële dienstverlening en gedeelde cloudinfrastructuren.
De 4e generatie NVIDIA NVLink wordt gecombineerd met een nieuwe externe NVLink-switch die het uitbreidt als een opschalingsnetwerk buiten de server, waarbij tot 256 H100 GPU's worden aangesloten op 9x hogere bandbreedte dan de vorige generatie met behulp van NVIDIA HDR Quantum InfiniBand.
NVIDIA H100 kan worden ingezet in vrijwel alle datacenters, inclusief on-premises, cloud, hybrid-cloud en edge, en zal naar verwachting later dit jaar beschikbaar zijn.
DGX H100-systeem
NVIDIA kondigt het DGX-systeem van de vierde generatie aan, DGX H100, met acht H100 GPU's die 32 petaflops aan AI-prestaties leveren met nieuwe FP8-precisie, wat de schaal biedt om te voldoen aan de enorme rekenvereisten van grote taalmodellen, aanbevelingssystemen, onderzoek in de gezondheidszorg en klimaatwetenschap .
Elk DGX H100-systeem is uitgerust met acht H100 GPU's, verbonden als één door NVLink van de vierde generatie, en levert een connectiviteit van 900 GB/s, een toename van 1.5x meer dan de vorige generatie. NVIDIA's NVLink is een lossless GPU-naar-GPU-interconnectie met lage latentie die veerkrachtige functies bevat, zoals foutdetectie op linkniveau en mechanismen voor het opnieuw afspelen van pakketten om succesvolle gegevenslevering te garanderen.
Naast de vierde generatie NVLink introduceert de H100 ook de nieuwe NVLink Network interconnect. Deze schaalbare versie van NVLink maakt GPU-naar-GPU-communicatie mogelijk van maximaal 256 GPU's over meerdere rekenknooppunten. NVIDIA introduceerde ook NVSwitch-technologie van de derde generatie die zowel binnen als buiten knooppunten schakelaars omvat om meerdere GPU's in servers, clusters en datacenteromgevingen met elkaar te verbinden. Een node met de nieuwe NVSwitch biedt 64 NVLink-poorten om multi-GPU-connectiviteit te versnellen, waardoor de totale switchdoorvoer bijna wordt verdubbeld van 7.2 Tbits/s naar 13.6 Tbits/s. Met NVSwitch kunnen alle acht H100 GPU's verbinding maken via NVLink. Een externe NVLink-switch kan tot 32 DGX H100-nodes in een netwerk opnemen in de volgende generatie NVIDIA DGX SuperPOD-supercomputers.
Grace CPU-superchip
NVIDIA heeft Grace CPU Superchip aangekondigd, boordevol 144 Arm-cores in één socket. Dit is de eerste op Arm Neoverse gebaseerde discrete datacenter-CPU die is ontworpen voor AI-infrastructuur en high-performance computing, die twee keer zoveel geheugenbandbreedte en energie-efficiëntie levert.
Het geheugensubsysteem bestaat uit LPDDR5x-geheugen met foutcorrectiecode voor een balans tussen snelheid en stroomverbruik. Het LPDDR5x-geheugensubsysteem verdubbelt de bandbreedte van traditionele DDR5-ontwerpen met 1 TB/s, terwijl het aanzienlijk minder stroom verbruikt.
De Grace CPU Superchip zal alle computersoftwarestacks van NVIDIA uitvoeren, inclusief NVIDIA RTX, NVIDIA HPC, NVIDIA AI en Omniverse. De Grace CPU Superchip samen met NVIDIA ConnectX-7 NIC's bieden de flexibiliteit om te worden geconfigureerd in servers als stand-alone CPU-only systemen of als GPU-versnelde servers met één, twee, vier of acht Hopper-gebaseerde GPU's, waardoor klanten de prestaties kunnen optimaliseren voor hun specifieke workloads met behoud van een enkele softwarestack.
Omniversum computersysteem
In overeenstemming met de datacenterfocus kondigde NVIDIA NVIDIA OVX aan, een computersysteem dat is ontworpen om grootschalige digitale tweelingen aan te drijven. Een digital twin is een virtuele wereld die verbonden is met de fysieke wereld. NVIDIA OVX is ontworpen om complexe digitale tweelingsimulatie uit te voeren die zal worden uitgevoerd binnen NVIDIA Omniverse, een real-time fysiek nauwkeurige wereldsimulatie en 3D-ontwerpsamenwerkingsplatform.
Door krachtige GPU-versnelde rekenkracht, graphics en AI te combineren met low-latency, high-speed opslagtoegang, zal het OVX-systeem de prestaties leveren die nodig zijn voor het creëren van digitale tweelingen met real-world nauwkeurigheid. OVX kan complexe digitale tweelingen simuleren voor het modelleren van gebouwen, fabrieken, steden en de wereld.
De OVX-server bevat acht NVIDIA A40 GPU's, drie ConnectX-6 DX 200Gbps NIC's, 1TB geheugen en 16TB NVMe-opslag. Het OVX-systeem schaalt van een enkele pod van acht OVX-servers tot een OVX SuperPOD met 32 servers die zijn verbonden via NVIDIA Spectrum-3-switch of meerdere OVX SuperPOD's.
Jetson AGX Orin-ontwikkelaarskit
NVIDIA kondigde ook de beschikbaarheid aan van de Jetson AGX Orin Developer Kit, een compacte, energiezuinige AI-supercomputer voor geavanceerde robotica, autonome machines en next-gen embedded en edge computing. De specificaties voor de Jetson AGX Orin zijn indrukwekkend en leveren 275 biljoen bewerkingen per seconde, meer dan 8x de verwerkingskracht van het vorige model, met behoud van een vormfactor ter grootte van een handpalm. Met de NVIDIA Ampere-architectuur GPU, Arm Cortex-A78AE CPU's, next-gen deep learning- en vision-versnellers, snellere geheugenbandbreedte, snelle interfaces en multimodale sensor, kan de Jetson AGX Orin meerdere, gelijktijdige AI-applicatiepijplijnen voeden.
Klanten die Jetson AGX Orin gebruiken, kunnen gebruikmaken van de volledige NVIDIA CUDA-X-versnelde computerstack, met 60 updates voor de verzameling bibliotheken, tools en technologieën. Ze hebben ook volledige toegang tot NVIDIA JetPack SDK, vooraf getrainde modellen uit de NVIDIA NGC-catalogus en de nieuwste frameworks en tools voor applicatie-ontwikkeling en -optimalisatie, zoals NVIDIA Isaac op Omniverse, NVIDIA Metropolis en NVIDIA TAO Toolkit.
NVIDIA Spectrum-4
NVIDIA bleef gefocust op het datacenter en kondigde haar NVIDIA Spectrum-4 Ethernet-platform aan. De next-gen switch levert 400 Gbps end-to-end met 4x hogere switching-doorvoer dan eerdere generaties. De Spectrum-4 bevat ConnectX-7 SmartNIC, BlueField-3 DPLU en DOCA datacenterinfrastructuursoftware.
De Spectrum-4-switches zijn gebouwd voor AI en maken precisie van nanoseconden mogelijk, versnellen, vereenvoudigen en beveiligen de netwerkstructuur met 2x snellere bandbreedte per poort, 4x minder switches en 40 procent lager stroomverbruik dan eerdere generaties. Met een totale ASIC-bandbreedte van 51.2 Tbps, ondersteuning van 128 poorten van 400GBE, adaptieve routering en verbeterde congestiecontrolemechanismen, optimaliseert Spectrum-4 RDMA over Converged Ethernet-fabrics, waardoor datacenters drastisch versnellen.
Afronden
NVIDIA's GTC-evenement zat boordevol nieuwe productupdates voor software, prestaties en snelheid. Veel aandacht voor het datacenter, maar ook voor de doelgroep van de autonome mobiele robot (AMR) en natuurlijk edge. Het hoogtepunt van de show was de Hopper H100 GPU, maar dat ene product sloot aan bij zoveel andere aankondigingen. NVIDIA heeft alle persberichten en bloghoogtepunten geplaatst hier, en het is de moeite van het bekijken waard.
Neem contact op met StorageReview
Nieuwsbrief | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | Facebook | TikTok | RSS Feed
