NVIDIA har gjort ett stort språng i världen av artificiell intelligens (AI) och högpresterande datoranvändning med sin senaste avtäckning – NVIDIA GH200 Grace Hopper Superchip. Det här senaste erbjudandet har visat enastående prestanda i MLPerfs riktmärken, vilket visar NVIDIAs skicklighet inom moln och edge AI.
NVIDIA har gjort ett stort språng i världen av artificiell intelligens (AI) och högpresterande datoranvändning med sin senaste avtäckning – NVIDIA GH200 Grace Hopper Superchip. Det här senaste erbjudandet har visat enastående prestanda i MLPerfs riktmärken, vilket visar NVIDIAs skicklighet inom moln och edge AI.
Ett superchip som talar mycket
GH200 Superchip är inte vilket vanligt chip som helst. Den kombinerar unikt en Hopper GPU med en Grace CPU, vilket ger ökat minne, bandbredd och möjligheten att automatiskt justera strömmen mellan CPU och GPU för bästa prestanda. Denna innovativa integration låter chippet uppnå en delikat balans mellan kraft och prestanda, vilket säkerställer att AI-applikationer får de resurser de behöver när de behöver dem.
Exceptionella MLPerf-resultat
MLPerf-riktmärken är en respekterad industristandard och NVIDIAs GH200 gjorde ingen besviken. Superchippet körde inte bara alla slutledningstester för datacenter, utan det visade också upp mångsidigheten hos NVIDIAs AI-plattform, och utökade dess omfattning från molnoperationer till kanterna av nätverket.
Dessutom lämnades inte NVIDIAs H100 GPU:er efter sig heller. HGX H100-systemen, utrustade med åtta H100 GPU:er, visade upp överlägsen genomströmning över alla MLPerf-inferenstester. Detta belyser den enorma potentialen och kapaciteten hos H100 GPU:er, särskilt för uppgifter som datorseende, taligenkänning, medicinsk bildbehandling, rekommendationssystem och stora språkmodeller (LLM).
TensorRT-LLM: Amplifying Inference Performance
NVIDIA har alltid legat i framkanten av kontinuerlig innovation, och det TensorRT-LLM är ett bevis på detta arv. Denna generativa AI-mjukvara ökar inferensen och kommer som ett bibliotek med öppen källkod. Även om det inte skickades in till MLPerf i tid för augustiutvärderingen, lovar det, vilket gör att användarna kan förstärka prestandan för sina H100 GPU:er utan extra kostnader. Partners som Meta, Cohere och Grammarly har dragit nytta av NVIDIAs ansträngningar för att förbättra LLM-inferens, vilket bekräftar vikten av sådan mjukvaruutveckling inom AI-området.
L4 GPU:er: Överbryggar vanliga servrar och prestanda
Med de senaste MLPerf-riktmärkena, L4 GPU:er har uppvisat berömvärda prestanda över en myriad av arbetsbelastningar. Dessa GPU:er har, när de placeras i kompakta acceleratorer, visat prestandamått upp till sex gånger effektivare än CPU:er med högre effektklassificering. Introduktionen av dedikerade mediamotorer, i samarbete med CUDA-programvaran, ger L4 GPU:n fördelen, särskilt i datorseende uppgifter.
Pushing the Boundaries: Edge Computing och mer
Framstegen är inte begränsade till enbart cloud computing. NVIDIAs fokus på edge computing är uppenbart med Jetson Orin system-on-modul, som visar upp prestandaförbättringar på upp till 84 % jämfört med tidigare versioner inom objektdetektering.
MLPerf: En transparent benchmarkingstandard
MLPerf fortsätter att vara ett objektivt riktmärke som användare över hela världen litar på för att fatta köpbeslut. Inkluderandet av molntjänstjättar som Microsoft Azure och Oracle Cloud Infrastructure, tillsammans med kända systemtillverkare som Dell, Lenovo och Supermicro, understryker MLPerfs betydelse i branschen.
Sammanfattningsvis stärker NVIDIAs senaste prestation i MLPerf-riktmärkena dess ledande position inom AI-sektorn. Med ett brett ekosystem, kontinuerlig mjukvaruinnovation och ett åtagande att leverera högkvalitativ prestanda, formar NVIDIA verkligen framtiden för AI.
För en mer djupgående teknisk dykning i NVIDIAs prestationer, se den länkade teknisk blogg. De som är intresserade av att replikera NVIDIAs benchmarking framgång kan få tillgång till programvaran från MLPerf-förvaret och NVIDIA NGC mjukvaruhubb.
Engagera dig med StorageReview
Nyhetsbrev | Youtube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Rssflöde
