De Supermicro AS-4125GS-TNRT is een 4U luchtgekoelde GPU-server die twee AMD EPYC 9004-serie CPU's, PCIe Gen5 en 8 GPU's met dubbele breedte ondersteunt.
Supermicro biedt al lang GPU-servers aan in meer soorten en maten dan we in deze recensie kunnen bespreken. Vandaag kijken we naar hun relatief nieuwe 4U luchtgekoelde GPU-server die twee AMD EPYC 9004-serie CPU's, PCIe Gen5 en een keuze uit acht invoegbare GPU-kaarten met dubbele breedte of twaalf enkelvoudige breedte ondersteunt. Hoewel Supermicro ook Intel-gebaseerde varianten van deze servers aanbiedt, is de AMD-gebaseerde AS-12GS-TNRT-familie de enige servers in deze klasse die NVIDIA H4125 en AMD Instinct Mi100 GPU's ondersteunen.
De Supermicro AS-4125GS-TNRT GPU-server heeft nog een paar andere hardware-hoogtepunten, zoals 10GbE-netwerken aan boord, out-of-band beheer, 9 FHFL PCIe Gen5-slots, 24 2.5-inch bays, waarvan vier NVMe, en de rest SATA/SAS. Er zijn ook 4x redundante voedingen van 2000 W op titaniumniveau. Op het moederbord bevindt zich een enkele M.2 NVMe-sleuf voor het opstarten.
Voordat we te ver gaan op deze weg, is het ook de moeite waard om te vermelden dat Supermicro twee andere varianten van de AS-4125GS-TNRT-serverconfiguratie biedt. Hoewel ze hetzelfde moederbord gebruiken, is de AS-4125GS-TNRT1 een configuratie met één socket en een PCIe-switch die maximaal 10 GPU's met dubbele breedte en 8 NVMe SSD-bays ondersteunt. De AS-4125GS-TNRT2 is een configuratie met twee processors die min of meer hetzelfde is, opnieuw met de PCIe-switch.
Ongeacht de configuratie is de Supermicro AS-4125GS-TNRT ongelooflijk flexibel dankzij het ontwerp en de mogelijkheid om modellen met de PCIe-switch te selecteren. Deze stijl van GPU-servers is populair omdat organisaties hierdoor klein kunnen beginnen en vervolgens kunnen uitbreiden, GPU's kunnen mixen en matchen voor verschillende behoeften, of kunnen doen wat ze maar willen. De socketed GPU-systemen bieden de mogelijkheid om GPU's beter te aggregeren voor grote AI-workloads, maar de add-in-kaartsystemen zijn niet te verslaan wat betreft de flexibiliteit van de workload.
Supermicro AS-4125GS-TNRT met AMD- en NVIDIA GPU's van SC23
Hoewel dit voor sommigen misschien als godslastering overkomt, kunnen de GPU-servers van de Supermicro add-in-kaart zelfs worden gebruikt met kaarten van AMD en NVIDIA in dezelfde doos! Snik, als je wilt, maar veel klanten zijn erachter gekomen dat sommige workloads de voorkeur geven aan een Instinct, terwijl andere workloads zoals de NVIDIA GPU. Ten slotte is het, hoewel minder populair dan tot de nok toe gevulde GPU-servers, de moeite waard om te vermelden dat deze slots slechts PCIe-slots zijn; het is niet onredelijk om scenario's voor te stellen waarin klanten de voorkeur geven aan FPGA's, DPU's of een andere vorm van accelerator in dit systeem. Nogmaals, flexibiliteit is het belangrijkste voordeel van dit ontwerp.
Voor onze testdoeleinden werd de Supermicro AS-4125GS-TNRT geleverd in barebones, klaar om CPU, DRAM, opslag en natuurlijk GPU's toe te voegen. We hebben met Supermicro samengewerkt om 4x NVIDIA H100 GPU's te lenen voor deze test.
Supermicro AS-4125GS-TNRT-specificaties
| Specificaties | |
| CPU | Dual Socket SP5 CPU's tot 128C / 256T elk |
| Geheugen | Tot 24x 256 GB 4800 MHz ECC DDR5 RDIMM/LRDIMM (Totaal 6TB geheugen) |
| GPU |
|
| Uitbreidingsslots | 9x PCIE 5.0 x16 FHFL-sleuven |
| Voedingen | 4x 2000W redundante voedingen |
| Netwerken | 2x 10GbE |
| Opbergen |
|
| moederbord | Super H13DSG-O-CPU |
| beheer |
|
| Beveiliging |
|
| Chassis grootte | 4U |
Supermicro AS-4125GS-TNRT beoordelingsconfiguratie
Wij hebben ons systeem van Supermicro geconfigureerd als barebones, al verkopen zij dit grotendeels als geconfigureerd systeem. Toen het in het lab aankwam, was het eerste wat we deden het vullen met een paar AMD EPYC 9374F 32c 64t CPU's. Deze zijn geselecteerd vanwege hun hoge kloksnelheid en respectabele multi-core prestaties.
Voor accelerators hadden we een behoorlijke keuze, variërend van oude Intel Phi-coprocessors tot de nieuwste H100 PCIe-kaarten tot hoogwaardige RTX 6000 ada-werkstation-GPU's. Ons doel was om ruwe rekenkracht in evenwicht te brengen met efficiëntie en veelzijdigheid. Uiteindelijk hebben we besloten om te beginnen met vier NVIDIA RTX A6000 GPU's en vervolgens over te gaan naar vier NVIDIA H100 PCIe-kaarten voor onze eerste tests. Deze combinatie demonstreert de flexibiliteit van het Supermicro-platform en de NVIDIA-acceleratorkaarten.
De RTX A6000, voornamelijk ontworpen voor prestaties bij grafisch-intensieve werkbelastingen, blinkt ook uit in AI- en HPC-toepassingen met zijn Ampere-architectuur. Het biedt 48 GB GDDR6-geheugen, waardoor het ideaal is voor het verwerken van grote datasets en complexe simulaties. De 10,752 CUDA- en 336 Tensor-kernen maken versneld computergebruik mogelijk, wat cruciaal is voor onze AI- en deep learning-tests.
Aan de andere kant zijn de NVIDIA H100 PCIe-kaarten de nieuwste verzendkaarten in de Hopper-architectuurreeks, voornamelijk ontworpen voor AI-workloads. Elke kaart beschikt over maar liefst 80 miljard transistors, 80 GB HBM3-geheugen en de baanbrekende Transformer Engine, op maat gemaakt voor AI-modellen zoals GPT-4. De 100e generatie Tensor Cores en DPX-instructies van de H4 zorgen voor een aanzienlijke verbetering van de AI-inferentie en trainingstaken.
Door deze GPU's te integreren in ons Supermicro barebones-systeem, hebben we ons gericht op het garanderen van een optimaal thermisch beheer en een optimale stroomverdeling, gezien het aanzienlijke stroomverbruik en de warmteopwekking van deze hoogwaardige componenten. Hoewel het Supermicro-chassis een dergelijke configuratie officieel niet ondersteunt, bleek het veelzijdig genoeg om aan onze opstelling te voldoen. Om de thermiek van de A6000's onder controle te houden, moesten we ze een kaartbreedte uit elkaar plaatsen vanwege het ontwerp van de eekhoornkooiventilator, maar de H100's kunnen worden ingepakt met hun passieve koelvinnen.
Onze benchmarkingsuite omvatte een mix van HPC- en AI-specifieke gebruiksscenario's. Deze varieerden van traditionele benchmarking-workloads tot AI-training en inferentietaken met behulp van convolutionele neurale netwerkmodellen. We wilden deze versnellers tot het uiterste drijven door hun ruwe prestaties en efficiëntie, schaalbaarheid en integratiegemak met onze Supermicro A+ server te evalueren.
Supermicro AS-4125GS-TNRT GPU-testen
Terwijl we door de vlaggenschip-GPU's van NVIDIA liepen terwijl we in het laboratorium aan een fundamenteel CNN-model werkten, begonnen we met wat training op werkstationniveau op een paar oudere maar zeer capabele RTX8000 GPU's.
Tijdens onze AI-prestatieanalyse hebben we een opmerkelijke maar verwachte vooruitgang in mogelijkheden waargenomen, van de NVIDIA RTX 8000 naar vier RTX A6000 GPU's en uiteindelijk naar vier NVIDIA H100 PCIe-kaarten. Deze vooruitgang demonstreerde de brute kracht van deze accelerators en de evolutie van de NVIDIA-accelerators gedurende de afgelopen jaren, omdat er steeds meer nadruk wordt gelegd op AI-workloads.
Beginnend met de RTX 8000 merkten we behoorlijke prestatieniveaus op. Met deze opstelling duurde onze AI-modeltraining op een beelddataset van 6.36 GB ongeveer 45 minuten per tijdperk. De beperkingen van de RTX 8000 waren echter duidelijk in termen van batchgrootte en de complexiteit van de taken die hij aankon. We waren beperkt tot kleinere batchgroottes en beperkt in de complexiteit van de neurale netwerkmodellen die we effectief konden trainen.
De verschuiving naar vier RTX A6000 GPU's betekende een aanzienlijke prestatieverbetering. Dankzij de superieure geheugenbandbreedte en het grotere GDDR6000-geheugen van de A6 konden we de batchgrootte verviervoudigen met behoud van dezelfde tijdsduur en modelcomplexiteit. Deze verbetering verbeterde het trainingsproces en stelde ons in staat te experimenteren met geavanceerdere modellen zonder de trainingstijd te verlengen.
De meest opvallende vooruitgang kwam echter met de introductie van vier NVIDIA H100 PCIe-kaarten. Door gebruik te maken van de verbeterde AI-mogelijkheden van de Hopper-architectuur, konden we met deze kaarten de batchgrootte opnieuw verdubbelen. Nog indrukwekkender is dat we de complexiteit van onze AI-modellen aanzienlijk zouden kunnen vergroten zonder enige opmerkelijke verandering in de duur van het tijdperk. Deze mogelijkheid is een bewijs van de geavanceerde AI-specifieke functies van de H100, zoals de Transformer Engine en de 4e generatie Tensor Cores, die zijn geoptimaliseerd voor het efficiënt afhandelen van complexe AI-operaties.
Tijdens deze tests dienden de beelddataset en modelparameters van 6.36 GB als consistente benchmark, waardoor we de prestaties van verschillende GPU-configuraties rechtstreeks konden vergelijken. De progressie van de RTX 8000 naar de A6000s en vervolgens naar de H100s benadrukte verbeteringen in de ruwe verwerkingskracht en het vermogen van de GPU's om grotere, complexere AI-workloads aan te kunnen zonder concessies te doen aan snelheid of efficiëntie. Dit maakt deze GPU’s bijzonder geschikt voor baanbrekend AI-onderzoek en grootschalige deep learning-toepassingen.
De Supermicro-server die bij onze tests wordt gebruikt, beschikt over een directe PCIe-verbinding met de CPU's, waardoor de noodzaak van een PCIe-switch wordt omzeild. Deze directe aansluiting zorgt ervoor dat elke GPU een speciaal pad naar de CPU heeft, wat een snelle en efficiënte gegevensoverdracht mogelijk maakt. Deze architectuur is van cruciaal belang bij sommige workloads in AI en HPC voor het minimaliseren van de latentie en het maximaliseren van het bandbreedtegebruik, met name gunstig bij taken met hoge doorvoer, zoals AI-modeltraining of complexe VDI-omgevingen wanneer al het werk lokaal op de server plaatsvindt.
Conclusie
De schaalbaarheid en flexibiliteit van de Supermicro GPU A+ Server AS-4125GS-TNRT-server zijn hier de belangrijkste kenmerken. Het is met name gunstig voor klanten die zich moeten aanpassen aan de veranderende eisen op het gebied van de werklast, of het nu gaat om AI, VDI of andere hoogwaardige taken. Beginnend met een bescheiden configuratie kunnen gebruikers effectief AI- of VDI-taken op instapniveau afhandelen, wat een kosteneffectieve oplossing biedt voor kleinere werklasten of voor degenen die zich net beginnen te wagen aan AI en virtuele desktopinfrastructuur. Deze initiële opzet biedt een solide en schaalbare basis, waardoor gebruikers zich kunnen bezighouden met eenvoudige maar essentiële AI- en VDI-toepassingen.
Hoewel we weten dat veel bedrijven willen profiteren van de H100 GPU's met socket, zijn de wachttijden voor deze platforms bovendien buitensporig. Veel bronnen hebben ons verteld dat de wachttijd bijna een jaar bedraagt. De supply chain-logistiek onderstreept het mooie van deze server: hij kan alles aan. L40S GPU's zijn 'nu' beschikbaar, zodat klanten met deze combinatie in ieder geval hun AI-workloads eerder dan later in beweging kunnen krijgen. En als de behoeften veranderen, kunnen klanten de kaarten eenvoudig omwisselen. Dit zorgt ervoor dat de Supermicro GPU A+ Server AS-4125GS-TNRT-server niet alleen voor onmiddellijke behoeften is, maar toekomstbestendig is en tegemoetkomt aan het zich ontwikkelende technologische landschap.
Supermicro 4U GPU Server-productpagina
Neem contact op met StorageReview
Nieuwsbrief | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed
