Vandaag, tijdens de opnieuw geplande GTC (GPU Technology Conference georganiseerd door NVIDIA), heeft NVIDIA onthuld dat ze zijn begonnen met het verzenden van hun eerste 7nm GPU naar apparaatfabrikanten. Net zoals AMD, die twee jaar geleden in 7 een 2018nm GPU uitbracht, kiest NVIDIA ervoor om zich te concentreren op de datacenter use cases voor hun eerste 7nm GPU. NVIDIA legt de nadruk op ontwikkelingen op het gebied van kunstmatige intelligentie en andere high-performance computing. Het bedrijf zelfs onlangs uitgekocht Mellanox. Eerder deze maand kondigde NVIDIA aan dat ze ernaar op zoek waren Cumulus verwerven .
Vandaag, tijdens de opnieuw geplande GTC (GPU Technology Conference georganiseerd door NVIDIA), heeft NVIDIA onthuld dat ze zijn begonnen met het verzenden van hun eerste 7nm GPU naar apparaatfabrikanten. Net zoals AMD, die twee jaar geleden in 7 een 2018nm GPU uitbracht, kiest NVIDIA ervoor om zich te concentreren op de datacenter use cases voor hun eerste 7nm GPU. NVIDIA legt de nadruk op ontwikkelingen op het gebied van kunstmatige intelligentie en andere high-performance computing. Het bedrijf zelfs onlangs uitgekocht Mellanox. Eerder deze maand kondigde NVIDIA aan dat ze ernaar op zoek waren Cumulus verwerven .
NVIDIA's eerste 7nm GPU is de NVIDIA A100. De A100 is gebaseerd op NVIDIA's Ampere-architectuur en bevat 54 miljard transistors. Net als eerdere NVIDIA-datacenter-GPU's, bevat de A100 Tensor Cores. Tensor-cores zijn gespecialiseerde onderdelen van de GPU die speciaal zijn ontworpen om snel een soort matrixvermenigvuldiging en optelberekening uit te voeren die vaak wordt gebruikt bij inferenties. Met nieuwe krachtigere GPU's komen nieuwe, krachtigere Tensor Cores. Voorheen konden de Tensor Cores van NVIDIA slechts tweeëndertig bits met drijvende komma ondersteunen. De A100 ondersteunt vierenzestig bit drijvende-kommabewerkingen, waardoor een veel grotere precisie mogelijk is.
Ook nieuw in de A100 is een multi-instance GPU-mogelijkheid. Elke A100 GPU kan worden opgesplitst in maar liefst zeven onafhankelijke instanties om een groot aantal taken tegelijk aan te pakken.
NVIDIA A100-specificaties
|
Transistor Count |
54 miljard |
|
Die Grootte |
826 mm2 |
|
FP64 CUDA-kernen |
3,456 |
|
FP32 CUDA-kernen |
6,912 |
|
Tensor kernen |
432 |
|
Streaming multiprocessors |
108 |
|
FP64 |
9.7 teraFLOPS |
|
FP64 Tensorkern |
19.5 teraFLOPS |
|
FP32 |
19.5 teraFLOPS |
|
TF32 Tensorkern |
156 teraFLOPS | 312 teraFLOPS* |
|
BFLOAT16 Tensorkern |
312 teraFLOPS | 624 teraFLOPS* |
|
FP16 Tensorkern |
312 teraFLOPS | 624 teraFLOPS* |
|
INT8 Tensorkern |
624 BOVEN | 1,248 TOPS* |
|
INT4 Tensorkern |
1,248 BOVEN | 2,496 TOPS* |
|
GPU-geheugen |
40 GB |
|
GPU-geheugenbandbreedte |
1.6 TB / s |
|
interconnect |
NVLink 600 GB/s PCIe Gen4 64 GB/s |
|
GPU's met meerdere instanties |
Verschillende instantiegroottes met maximaal 7MIG's @5GB |
|
Form Factor |
4/8 SXM GPU's in HGX A100 |
|
Maximum kracht |
400W (SXM) |
Naast de enkele A100 GPU brengt NVIDIA tegelijkertijd ook twee geclusterde GPU's uit. Het NVIDIA DGX A100-systeem beschikt over acht NVIDIA A100 GPU's die onderling verbonden zijn met NVIDIA NVSwitch. Zijn kleinere broer, NVIDIA HGX A100, bestaat uit vier A100 GPU's die met elkaar zijn verbonden via NVLink. Zowel NVLINK als NVSwitch stellen de afzonderlijke GPU's in staat om samen te werken aan grote taken. NVLink is een echte alles-naar-alles-verbinding. Om het grotere aantal GPU's op de NVSwitch-interconnecties aan te kunnen, besloot NVIDIA om de NVLinks tussen de GPU's met elkaar te verbinden. NVIDIA heeft hun alles-naar-alles-verbinding voor de nieuwe A100 versterkt, waarbij de connectiviteit is verdubbeld om de veel krachtigere kernen in de chips te ondersteunen. NVIDIA beweert dat ze de prestaties van hun vorige DGX-systeem meer dan verdubbeld hebben. Volgens hen kan hun nieuwe DGX A100 met acht GPU's maar liefst vijf petaflops uitvoeren. Hun vorige generatie, de DGX-2, heeft zestien GPU's, maar beheert slechts twee petaflops. Ik had niet verwacht dat ik binnenkort het woord 'alleen' zou gebruiken bij een systeem met twee petaflops, maar wanneer het nieuwe cluster de prestaties meer dan verdubbelt met de helft van het aantal GPU's, lijkt het passend. De DGX A100 beschikt ook over 320 GB geheugen en negen NVIDIA Mellanox ConnectX-6 HDR 200 Gb per seconde netwerkinterfaces, met een totaal van 3.6 Tb per seconde bidirectionele bandbreedte.
Om de enorme kracht van de DGX A100 in perspectief te plaatsen: de tiende krachtigste supercomputer ter wereld is gebenchmarkt met 18 petaflops. Schuif een paar NVIDIA's nieuwe slechteriken bij elkaar en je hebt je eigen supercomputer van wereldklasse. Verbazingwekkend genoeg heeft NVIDIA een DGX SuperPOD-referentiearchitectuur uitgebracht die precies dat doet. Als het systeem zo goed presteert als NVIDIA beweert, kunnen de komende maanden erg vreemd zijn voor liefhebbers van supercomputing.
Terug in de normale wereld, met meer typische use-cases, heeft NVIDIA ook plannen aangekondigd om tegen het einde van het jaar een edge-server uit te brengen met hun nieuwe GPU's. De EGX A100 wordt aangedreven door slechts één van de nieuwe A100 GPU's. NVIDIA is van plan om de EGX A100 edge-server op Red Hat Enterprise Linux te laten draaien. De apparaten zullen waarschijnlijk de recent aangeschafte Mellanox ConnectX-6 Dx-netwerkkaarten van NVIDIA gebruiken om tot 200 Gbps aan gegevens te ontvangen en deze rechtstreeks naar het GPU-geheugen te sturen voor AI- of 5G-signaalverwerking. Dat NVIDIA zelf niet van plan is om tot het einde van het jaar een apparaat uit te brengen met slechts één van hun nieuwe GPU's erin, onderstreept echt wat een wild idee is om meerdere DGX A100's te clusteren, die zelf clusters van acht A100's zijn.
Neem contact op met StorageReview
Nieuwsbrief | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | Facebook | RSS Feed
