Hem FöretagAI Dell PowerEdge XE9680 för generativ AI: stabil plattform, stabil spridning, överlägsen prestanda

Dell PowerEdge XE9680 för generativ AI: stabil plattform, stabil spridning, överlägsen prestanda

by Jordan Ranous

På den höginsatsade arenan för företags-AI är tekniska titaner i ett obevekligt lopp för att avslöja nästa betydande innovation inom hårdvara. Dell Technologies introducerade nyligen Dell PowerEdge XE9680 för generativ AI och är böjer det i en nyligen publicerad whitepaper. PowerEdge XE9680, uttryckligen designad för att hantera AI-arbetsbelastningar, är inte bara en ny deltagare i loppet – den är en potentiell föregångare.

På den höginsatsade arenan för företags-AI är tekniska titaner i ett obevekligt lopp för att avslöja nästa betydande innovation inom hårdvara. Dell Technologies introducerade nyligen Dell PowerEdge XE9680 för generativ AI och är böjer det i en nyligen publicerad whitepaper. PowerEdge XE9680, uttryckligen designad för att hantera AI-arbetsbelastningar, är inte bara en ny deltagare i loppet – den är en potentiell föregångare.

När vi grävde igenom vitboken tittade vi på hur detta kraftpaket omdefinierar AI-landskapet och varför det kanske bara är ditt företags hemliga vapen för att erövra AI-gränsen.

Dell PowerEdge XE9680 för generativ AI

Smakämnen Dell PowerEdge XE9680 är en GPU-tät rackserver designad för högpresterande applikationer inriktade på artificiell intelligens. Den är utrustad med två 4:e generationens Intel Xeon-skalbara processorer, var och en med upp till 56 kärnor, och kan utrustas med antingen åtta NVIDIA HGX H100 eller åtta NVIDIA HGX A100 GPU:er; allt sammankopplat med NVIDIA NVLink-teknik.

Dell PowerEdge XE9680 för generativ AI

PowerEdge XE9680 stöder DIMM-hastighet upp till 4800 MT/s och har 32 DDR5 DIMM-platser, med en maximal RAM-kapacitet på 4 TB. Den erbjuder upp till 8 x 2.5-tums NVMe SSD-enheter för lagring, med en maximal kapacitet på 122.88 TB. Servern innehåller också en rad säkerhetsfunktioner, såsom kryptografiskt signerad firmware, Data at Rest Encryption (DRE), Secure Boot och mer. Det hanteras genom det inbäddade iDRAC9-systemet och stöder en mängd olika hanteringsverktyg och integrationer. Servern är inrymd i en 6U rackformfaktor och väger 235.89 lbs. (107 kg).

Dell PowerEdge XE9680 för generativa AI GPU:er

Specifikationer för Dell PowerEdge XE9680

PowerEdge XE9680 är designad för att hantera AI-arbetsbelastningar med enorma minnesfootprints. Tack vare NVLink får GPU:erna tillgång till en stor mängd minne från andra GPU:er i systemet, vilket ger höghastighetsåtkomst till delade resurser. Denna betydande minneskapacitet bör leda till högre prestanda, mer komplexa modeller och förmågan att arbeta med större, mer detaljerade datauppsättningar, vilket förbättrar noggrannheten och användbarheten genom att utnyttja större parametermodeller.

Artikelnummer :

  • Dell PowerEdge XE9680

Processorkapacitet:

  • Kapabel med 2 uttag
  • Upp till två 4:e generationens Intel Xeon skalbara processorer med upp till 56 kärnor per processor

Fysikaliska egenskaper:

  • 6U luftkyld, upp till 35C omgivningstemperatur
  • 1200 mm rack kan

Minnesstöd:

  • Upp till 32 DDR5 DIMM
  • Upp till 4800 MT/s (1DPC) eller 4400 MT/s (2DPC)
I/O-funktioner:

  • 10 x 16 PCIe Gen5-platser
  • Ett OCP NIC 3.0
  • 2x1GbELOM

GPU -optimering:

  • NVIDIA 8 x H100 SXM5 700W 80GB GPU eller NVIDIA 8 x A100 SXM4 500W 80GB GPU
  • Full NVLINK sammankoppling

Artificiell intelligens:

  • AI stormodellutbildning

Drive Support:

  • Stöd för upp till 16 enheter
  • Upp till 8 x SAS/SATA/NVMe Gen4 eller 16x E3.S
  • Bakre Hot-Plug BOSS N -1 (2 x M.2 MVNe) för bagageutrymme (tillval)
  • SW RAID/PERC12-stöd

Bildgenereringsmodeller: The Science of Art

Har du någonsin önskat att du kunde måla som Van Gogh eller skissa som Da Vinci men sluta med streckfigurer som inte ens skulle imponera på en dagisbarn? Gå in i en värld av bildgenereringsmodeller (IGM), maskininlärningsmotsvarigheten till en fantastisk artist, minus excentriciteter och basker.

IGM är en delmängd av maskininlärningsmodeller utformade för att hantera skapandet av nya bilder. IGM faller inom det bredare fältet generativ modellering, som handlar om att förstå och replikera datamönster. Ändå, istället för att generera siffror eller text, är dessa modeller i branschen för att skapa bilder. Under de senaste månaderna har IGM skapat nyheter som genererar allt från nya konstverk till kusligt realistiska mänskliga ansikten.

Dessa modeller har hittat in i allt från konst och underhållning till reklam och vetenskaplig forskning. De skapar bilder av celler för medicinsk diagnos, simulerar yttre rymden och skapar selfies så realistiska att du kan fiska dig själv. I takt med att dessa modeller utvecklas växer kraven för att köra dem snabbt.

Dell PowerEdge XE9680 för generativ AI: Powered the Edge, av stabil spridning

Diffusionsmetoder, när nya bilder genereras under slutledning, beror vanligtvis på massiva GPU-kluster som fungerar synkroniserat och kräver omfattande hårdvarukörning. Dells whitepaper avslöjar dock att med Dell PowerEdge XE9680-servern kan dessa generativa AI-operationer snabbas upp avsevärt.

Detta gör det möjligt att producera dussintals till hundratals rimligt upplösta bilder på bara några sekunder. Dell påpekar att genom att utnyttja funktionerna hos Dell PowerEdge XE9680 för generativ AI kan stora högupplösta bilder (Dell använde 2,096 2,096 x XNUMX XNUMX) produceras från en enda textprompt på några sekunder.

Bilder genererade på PowerEdge XE9680 med textprompt = "Porträtt av glad hund, närbild,"

XE9680 genererad med textprompt = "Porträtt av glad hund, närbild,"

Smakämnen vitt papper utvärderar bildgenereringsfördröjningen för HuggingFace Diffusers text-till-bild-modell på PowerEdge XE9680-servern, med hänsyn till variationer i batchstorlek och bildupplösning. XE9680-servern kan generera bilder med upplösningar på upp till 2,048 2,048 x XNUMX XNUMX.

När batchstorlekarna ökade ökade också minneskraven på infrastrukturen. Därför var stora batchstorlekar möjliga med bilder med lägre upplösning (som 256 x 256). Men på grund av minnesbegränsningar kunde mycket högupplösta bilder (som 2,048 2,048 x XNUMX XNUMX) bara generera en batchstorlek på en.

PowerEdge XE9680 Genereringstider för batchbilder

PowerEdge XE9680 Genereringstider för batchbilder

Fokusering på batchbildgenerering av bilder med 256 x 256 och 512 x 512 upplösningar visar de kraftfulla funktionerna hos Dell PowerEdge XE9680 för generativ AI som genererar flera bilder inom några sekunder. Denna förmåga påskyndar utvärderingen, snabbjusteringen och ytterligare utvärdering som krävs för kreativa designcykler. Dessa resultat visar hur satser om 32 bilder med en upplösning på 512 x 512 kan genereras med HuggingFace Diffusers-paketet på Dell PowerEdge XE9680-servern på mindre än 10 sekunder. Dessutom kan satser om 64 bilder med en upplösning på 256 x 256 skapas på mindre än 5 sekunder med samma plattform, vilket möjliggör snabba prototyper och kreativa designcykler för företag och proffs.

Benchmarks för bildgenerering

I analysen från vitboken utvärderades Dell PowerEdge XE9680-servern mot de riktmärken för bildgenerering som satts av Lambda. Denna jämförelse involverade en enda NVIDIA H100 GPU med 80 GB RAM på Dell PowerEdge XE9680-servern och NVIDIA H100 GPU Stable Diffusion benchmark släppt av ML Labs-teamet på Lambda.

Latensvärden för batchbildgenerering för både Dell PowerEdge XE9680-server (blå) och Lambda-server (orange). Båda studierna använde en enda NVIDIA® H100 GPU med 80 GB GPU RAM, där GPU-formfaktorn för Dell-serverns GPU var HGX och Lambda-serverns GPU var PCIe. Alla bilder använde samma HuggingFace text-till-bild Diffusers PyTorch-kod med textprompt = "ett foto av en astronaut som rider en häst på mars," antal iterationer = 30, 512 x 512 bildupplösning, float16 precision, DDIM Scheduler, Stable Diffusion v1.4.

Dell PowerEdge XE9680 bildgenereringsfördröjning

Studien visade att XE9680 överträffade Lambdas riktmärken och uppnådde ungefär dubbelt så mycket genomströmning. Dells resultat presenteras i samma format som Lambdas, med hjälp av data från deras NVIDIA H100 GPU-studie under identiska mjukvarudefinierade förhållanden. Den enda skillnaden var hårdvaran: Lambda använde en PCIe-formfaktor NVIDIA H100 GPU, medan Dell PowerEdge XE9680-servern använde en HGX-formfaktor, vilket kan förklara vissa prestandaskillnader.

Affärspåverkan av bildgenereringsmodeller

Bildgenerering genom Stable Diffusion ger kreativa proffs möjlighet att snabbt prototyper och förfina sitt arbete, som att förbättra effektiviteten i marknadsförings- och reklamstrategier och förkorta tiden till marknad. Proffs inom områden som arkitektur, reklam, marknadsföring, kreativitet, film, specialeffekter, fotografi och konst har redan anammat denna teknik.

Generativ AI-teknik, som stabil spridning, kan åstadkomma transformativa förändringar i företagsverksamheten, särskilt när hastigheten är avgörande. Inom produktdesign och utveckling kan dessa modeller snabbt generera visuella prototyper, vilket gör det möjligt för designteam att utvärdera och förfina koncept i realtid. Detta påskyndar designprocessen och minskar tiden till marknaden.

Ett av de mest intressanta koncepten kommer från detaljhandeln. AI kunde snabbt generera realistiska bilder av olika produktkonfigurationer eller färgalternativ baserat på kundens preferenser, som "Visa mig den här stolen, men i rött" eller "Hur skulle den där soffan se ut med leopardtryck." För fastighets- och byggföretag kan generativ AI snabbt skapa visualiseringar av nya byggnader eller ombyggnadsprojekt, vilket underlättar planering och försäljningspresentationer.

Inom området utbildning och utbildning inom ett företag kan AI-genererade bilder användas för att skapa realistiska scenarier för utbildningsprogram för anställda, vilket förbättrar läranderesultat. Bildgenereringshastigheten kan avsevärt förbättra företagens smidighet, vilket gör det möjligt för dem att reagera på marknadsförändringar, kundbehov och interna krav mer effektivt.

Utgående Tankar

Dell PowerEdge XE9680 är en högpresterande server med imponerande kapacitet som enkelt kan hantera krävande AI-arbetsbelastningar (åtminstone för nu). Medan XE9680 är inriktad på den trendiga AI-marknaden, kan det finnas andra spännande användningsfall inom analys och databehandling för en så kraftfull box. Det bör noteras att XE9680 underbygger Dells Project Helix, en tjänst som hjälper organisationer att få sina AI-projekt online på ett mer lägligt sätt.

XE9680 Whitepaper

Engagera dig med StorageReview

Nyhetsbrev | Youtube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Rssflöde