NVIDIA Hopper-arkitekturen stod i centrum under NVIDIA GTC med fokus på att driva nästa våg av AI-datacenter. Uppkallad efter Grace Hopper, en banbrytande amerikansk datavetare, levererar nästa generations accelererade datorplattform en prestanda i en storleksordning jämfört med sin föregångare, NVIDIA Ampere.
NVIDIA Hopper-arkitekturen stod i centrum under NVIDIA GTC med fokus på att driva nästa våg av AI-datacenter. Uppkallad efter Grace Hopper, en banbrytande amerikansk datavetare, levererar nästa generations accelererade datorplattform en prestanda i en storleksordning jämfört med sin föregångare, NVIDIA Ampere.
NVIDIA tillkännagav också sin första Hopper-baserade grafikprocessor, NVIDIA H100, packad med 80 miljarder transistorer. H100, utsedd som världens största och mest kraftfulla accelerator, har en Transformer Engine och en mycket skalbar NVIDIA NVLink-koppling för att utveckla gigantiska AI-språkmodeller, djupa rekommendationssystem, genomik och komplexa digitala tvillingar.
"Datacenter håller på att bli AI-fabriker - bearbetar och förfinar berg av data för att producera intelligens", säger Jensen Huang, grundare och VD för NVIDIA. "NVIDIA H100 är motorn i världens AI-infrastruktur som företag använder för att accelerera sina AI-drivna verksamheter."
H100-teknik
Byggd med hjälp av en banbrytande TSMC 4N-process designad för NVIDIAs accelererade datorbehov, H100 har betydande framsteg för att accelerera AI, HPC, minnesbandbredd, sammankoppling och kommunikation, inklusive nästan 5 TB/s extern anslutning. Hopper H100 är den första grafikprocessorn som stöder PCIe Gen5 och använder HBM3, (High Bandwidth Memory 3) som möjliggör 3TB/s minnesbandbredd. Tjugo H100 GPU:er kan upprätthålla motsvarigheten till hela världens internettrafik, vilket gör det möjligt för kunder att leverera avancerade rekommendationssystem och stora språkmodeller som kör inferens på data i realtid.
Valet för naturlig språkbehandling, Transformer Engine är en av de viktigaste modellerna för djupinlärning som någonsin uppfunnits. H100-acceleratorns Transformer Engine är byggd för att snabba upp dessa nätverk så mycket som 6x jämfört med föregående generation utan att förlora noggrannhet.
Med Multi-Instance GPU (MIG)-teknik gör Hopper-arkitekturen att en enda GPU kan delas upp i sju mindre, helt isolerade instanser för att hantera olika typer av jobb. Genom att utöka MIG-kapaciteten med upp till 7x jämfört med föregående generation, erbjuder Hopper-arkitekturen säkra multi-tenant-konfigurationer i molnmiljöer över varje GPU-instans.
H100 är världens första accelerator med konfidentiella beräkningsmöjligheter för att skydda AI-modeller och kunddata under bearbetning. Kunder kan också använda konfidentiell datoranvändning för federerat lärande för integritetskänsliga branscher som hälsovård, finansiella tjänster och delad molninfrastruktur.
4:e generationens NVIDIA NVLink kombineras med en ny extern NVLink-switch som utökar det som ett uppskalningsnätverk utanför servern, och ansluter upp till 256 H100 GPU:er med 9x högre bandbredd jämfört med föregående generation med NVIDIA HDR Quantum InfiniBand.
NVIDIA H100 kan distribueras i praktiskt taget alla datacenter, inklusive on-premises, moln, hybrid-cloud och edge, och förväntas bli tillgänglig senare i år.
DGX H100-system
NVIDIA tillkännagav fjärde generationens DGX-system, DGX H100, med åtta H100 GPU:er som levererar 32 petaflops AI-prestanda med ny FP8-precision, vilket ger skalan för att möta de enorma beräkningskraven för stora språkmodeller, rekommendationssystem, sjukvårdsforskning och klimatvetenskap .
Varje DGX H100-system har åtta H100 GPU:er, anslutna som en till fjärde generationens NVLink, och levererar 900 GB/s anslutning, en ökning med 1.5 gånger mer än föregående generation. NVIDIAs NVLink är en förlustfri GPU-till-GPU-koppling med låg latens, som inkluderar elasticitetsfunktioner, såsom feldetektering på länknivå och mekanismer för återuppspelning av paket för att garantera framgångsrik dataleverans.
Förutom fjärde generationens NVLink, introducerar H100 också den nya NVLink Network-interconnect. Denna skalbara version av NVLink möjliggör GPU-till-GPU-kommunikation med upp till 256 GPU:er över flera beräkningsnoder. NVIDIA introducerade också tredje generationens NVSwitch-teknik som inkluderar switchar både inuti och utanför noder för att ansluta flera GPU:er i servrar, kluster och datacentermiljöer. En nod med den nya NVSwitch ger 64 portar av NVLinks för att accelerera multi-GPU-anslutning, nästan fördubblar den totala switchgenomströmningen från 7.2 Tbits/s till 13.6 Tbits/s. NVSwitch gör det möjligt för alla åtta H100 GPU:erna att ansluta över NVLink. En extern NVLink-switch kan nätverka upp till 32 DGX H100-noder i nästa generations NVIDIA DGX SuperPOD-superdatorer.
Grace CPU Superchip
NVIDIA tillkännagav Grace CPU Superchip, packad med 144 armkärnor i en enda sockel. Detta är den första Arm Neoverse-baserade diskreta datacenter-CPUn designad för AI-infrastruktur och högpresterande datorer, som ger dubbelt så mycket minnesbandbredd och energieffektivitet.
Minnesdelsystemet består av LPDDR5x-minne med felkorrigeringskod för balans mellan hastighet och strömförbrukning. LPDDR5x-minnesundersystemet fördubblar bandbredden för traditionella DDR5-designer med 1 TB/s samtidigt som det förbrukar dramatiskt mindre ström.
Grace CPU Superchip kommer att köra alla NVIDIAs datormjukvarustackar, inklusive NVIDIA RTX, NVIDIA HPC, NVIDIA AI och Omniverse. Grace CPU Superchip tillsammans med NVIDIA ConnectX-7 NIC erbjuder flexibiliteten att konfigureras till servrar som fristående CPU-bara system eller som GPU-accelererade servrar med en, två, fyra eller åtta Hopper-baserade GPU:er, vilket gör att kunderna kan optimera prestanda för deras specifika arbetsbelastningar samtidigt som de behåller en enda mjukvarustack.
Omniversum datorsystem
I linje med datacentrets fokus presenterade NVIDIA NVIDIA OVX, ett datorsystem designat för att driva storskaliga digitala tvillingar. En digital tvilling är en virtuell värld som är kopplad till den fysiska världen. NVIDIA OVX är designad för att driva komplex digital tvillingsimulering som kommer att köras inom NVIDIA Omniverse, en fysiskt korrekt världssimulering i realtid och 3D-designsamarbetsplattform.
Genom att kombinera högpresterande GPU-accelererad beräkning, grafik och AI med låg latens, höghastighetslagringsåtkomst, kommer OVX-systemet att ge den prestanda som krävs för att skapa digitala tvillingar med verklig noggrannhet. OVX kan simulera komplexa digitala tvillingar för modellering av byggnader, fabriker, städer och världen.
OVX-servern innehåller åtta NVIDIA A40 GPU:er, tre ConnectX-6 DX 200Gbps NIC, 1TB minne och 16TB NVMe-lagring. OVX-systemet skalas från en enda pod med åtta OVX-servrar till en OVX SuperPOD med 32 servrar anslutna via NVIDIA Spectrum-3-switch eller flera OVX SuperPODs.
Jetson AGX Orin Developer Kit
NVIDIA tillkännagav också tillgängligheten av Jetson AGX Orin Developer-kit, en kompakt, energieffektiv AI-superdator för avancerad robotik, autonoma maskiner och nästa generations inbyggda och edge-datorer. Specifikationerna för Jetson AGX Orin är imponerande och levererar 275 biljoner operationer per sekund, över 8 gånger processorkraften från den tidigare modellen, samtidigt som den har en formfaktor i handflatan. Med NVIDIA Ampere-arkitekturen GPU, Arm Cortex-A78AE-processorer, nästa generations djupinlärnings- och visionacceleratorer, snabbare minnesbandbredd, höghastighetsgränssnitt och multimodal sensor, kan Jetson AGX Orin mata flera samtidiga AI-applikationspipelines.
Kunder som använder Jetson AGX Orin kan utnyttja hela NVIDIA CUDA-X accelererade datorstack, med 60 uppdateringar av dess samling av bibliotek, verktyg och teknologier. De kommer också att ha full tillgång till NVIDIA JetPack SDK, förtränade modeller från NVIDIA NGC-katalogen och de senaste ramverken och verktygen för applikationsutveckling och optimering, som NVIDIA Isaac on Omniverse, NVIDIA Metropolis och NVIDIA TAO Toolkit.
NVIDIA Spectrum-4
NVIDIA förblir fokuserad på datacentret och tillkännagav sin NVIDIA Spectrum-4 Ethernet-plattform. Nästa generations switch levererar 400 Gbps ände-till-ände med 4 gånger högre växlingsgenomströmning än tidigare generationer. Spectrum-4 inkluderar ConnectX-7 SmartNIC, BlueField-3 DPLU och DOCA datacenterinfrastruktur.
Spectrum-4-switcharna är byggda för AI och tillåter nanosekundsprecision, accelererar, förenklar och säkrar nätverksstrukturen med 2x snabbare per portbandbredd, 4x färre switchar och 40 procent lägre strömförbrukning än tidigare generationer. Med 51.2 Tbps sammanlagd ASIC-bandbredd stöder 128 portar på 400GBE, adaptiv routing och förbättrade mekanismer för överbelastningskontroll, optimerar Spectrum-4 RDMA över konvergerade Ethernet-tyger, vilket dramatiskt accelererar datacenter.
Sammanfatta
NVIDIAs GTC-evenemang var fullspäckat med nya produktuppdateringar för mjukvara, prestanda och hastighet. Mycket fokus på datacentret, men riktar sig också till den autonoma mobila roboten (AMR) publiken och, naturligtvis, kanten. Showens höjdpunkt var Hopper H100 GPU, men den ena produkten knöt ihop så många av de andra tillkännagivandena. NVIDIA har lagt alla pressmeddelanden och blogghöjdpunkter här., och det är värt en titt.
Engagera dig med StorageReview
Nyhetsbrev | Youtube | Podcast iTunes/Spotify | Instagram | Twitter | Facebook | TikTok | Rssflöde
