Het debuut van de NVIDIA H100 Tensor Core GPU op de MLPerf-industriestandaard AI-benchmarks vestigde wereldrecords in deductie van alle workloads door tot 4.5x betere prestaties te leveren dan GPU's van de vorige generatie. NVIDIA A100 Tensor Core GPU's en de NVIDIA Jetson AGX Orin-module voor AI-aangedreven robotica leverden algemene leiderschapsinferentieprestaties in alle MLPerf-tests: beeld- en spraakherkenning, natuurlijke taalverwerking en aanbevelingssystemen.
Het debuut van de NVIDIA H100 Tensor Core GPU op de MLPerf-industriestandaard AI-benchmarks vestigde wereldrecords in deductie van alle workloads door tot 4.5x betere prestaties te leveren dan GPU's van de vorige generatie. NVIDIA A100 Tensor Core GPU's en de NVIDIA Jetson AGX Orin-module voor AI-aangedreven robotica leverden algemene leiderschapsinferentieprestaties in alle MLPerf-tests: beeld- en spraakherkenning, natuurlijke taalverwerking en aanbevelingssystemen.
De H100, ook bekend als Hopper, legde de lat hoger wat betreft prestaties per versneller in alle zes neurale netwerken en toonde leiderschap in doorvoer en snelheid in afzonderlijke server- en offline tests. Mede dankzij zijn Transformer Engine blonk Hopper uit op het BERT-model voor natuurlijke taalverwerking. Het is een van de grootste en meest prestatie-hongerige van de MLPerf AI-modellen.
Deze inferentiebenchmarks markeren de eerste openbare demonstratie van H100 GPU's, die later dit jaar beschikbaar zal zijn. De H100 GPU's zullen deelnemen aan toekomstige MLPerf-rondes voor training.
A100 GPU's tonen leiderschap
NVIDIA A100 GPU's, die vandaag verkrijgbaar zijn bij grote cloudserviceproviders en systeemfabrikanten, bleven toonaangevend in algemene prestaties op het gebied van AI-inferentie door meer tests te winnen dan welke inzending dan ook in datacenter- en edge computing-categorieën en -scenario's. In juni leverde de A100 ook algeheel leiderschap in MLPerf-trainingsbenchmarks, wat zijn capaciteiten in de AI-workflow aantoonde.
Sinds hun debuut in juli 2020 op MLPerf hebben A100 GPU's hun prestaties met 6x verbeterd, dankzij voortdurende verbeteringen in NVIDIA AI-software. NVIDIA AI is het enige platform waarop alle MLPerf-inferentieworkloads en -scenario's in datacenters en edge computing kunnen worden uitgevoerd.
Gebruikers hebben veelzijdige prestaties nodig
NVIDIA GPU-prestatieleiderschap in alle belangrijke AI-modellen valideert de technologie voor gebruikers, aangezien real-world applicaties doorgaans veel verschillende soorten neurale netwerken gebruiken. Een AI-toepassing moet bijvoorbeeld het gesproken verzoek van een gebruiker begrijpen, een afbeelding classificeren, een aanbeveling doen en vervolgens een antwoord geven als een gesproken bericht met een menselijk klinkende stem. Elke stap vereist een ander type AI-model.
De MLPerf-benchmarks hebben betrekking op deze en andere populaire AI-workloads en -scenario's, waaronder computervisie, natuurlijke taalverwerking, aanbevelingssystemen en spraakherkenning. MLPerf-resultaten helpen gebruikers weloverwogen aankoopbeslissingen te nemen op basis van de specifieke tests, zodat gebruikers een product krijgen dat betrouwbare en flexibele prestaties levert.
De MLPerf-benchmarks worden ondersteund door een brede groep waaronder Amazon, Arm, Baidu, Google, Harvard, Intel, Meta, Microsoft, Stanford en de Universiteit van Toronto.
Orin leidt aan de rand
Op het gebied van edge computing draaide NVIDIA Orin elke MLPerf-benchmark en won meer tests dan welk ander energiezuinig systeem-op-een-chip dan ook, wat een 50% hogere energie-efficiëntie opleverde in vergelijking met het debuut in april op MLPerf. In de vorige ronde liep Orin tot 5x sneller dan de Jetson AGX Xavier-module van de vorige generatie, terwijl hij gemiddeld 2x betere energie-efficiëntie leverde.
Orin integreert in een enkele chip een NVIDIA Ampere-architectuur GPU en een cluster van krachtige Arm CPU-kernen. Het is vandaag beschikbaar in de NVIDIA Jetson AGX Orin-ontwikkelaarskit en productiemodules voor robotica en autonome systemen. Het ondersteunt de volledige NVIDIA AI-softwarestack, inclusief platforms voor autonome voertuigen (NVIDIA Hyperion), medische apparaten (Clara Holoscan) en robotica (Isaac).
Breed NVIDIA AI-ecosysteem
De MLPerf-resultaten laten zien dat het breedste ecosysteem van de branche NVIDIA AI ondersteunt bij machine learning. Meer dan 70 inzendingen in deze ronde liepen op het NVIDIA-platform en Microsoft Azure diende resultaten in met NVIDIA AI op zijn cloudservices.
Bovendien verschenen er in deze ronde 19 NVIDIA-gecertificeerde systemen van 10 systeemmakers, waaronder ASUS, Dell Technologies, Fujitsu, GIGABYTE, Hewlett Packard Enterprise, Lenovo en Supermicro. Hun werk toont uitstekende prestaties met NVIDIA AI in de cloud en on-premises.
MLPerf is een waardevolle tool voor klanten die AI-platforms en leveranciers evalueren. Resultaten in de laatste ronde tonen aan dat de prestaties van deze partners zullen groeien met het NVIDIA-platform. Alle software die voor deze tests wordt gebruikt, is beschikbaar in de MLPerf-repository, zodat iedereen deze resultaten kan krijgen. Optimalisaties worden continu gevouwen in containers beschikbaar op NGC, NVIDIA's catalogus voor GPU-versnelde software. NVIDIA TensorRT, gebruikt door elke inzending in deze ronde om AI-inferentie te optimaliseren, bevindt zich in de catalogus.
We hebben onlangs onze eigen edge MLperf-resultaten uitgevoerd Supermicro en Lenovo platforms met de T4- en A2-GPU's erin.
Neem contact op met StorageReview
Nieuwsbrief | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | Facebook | RSS Feed
