Det går knappt en vecka innan vi inte hör från en IT-leverantör om vilken inverkan deras lösningar har på organisationer som är involverade i artificiell intelligens, djupinlärning, maskininlärning eller edge-intelligens. Problemet är dock att materiella insikter om hur dessa lösningar påverkar utförandet av var och en av dessa uppgifter saknas. Nyligen bestämde vi oss för att se om vi kunde göra något åt det genom att samarbeta med byteLAKE, en AI- och HPC-lösningsbyggare baserad i Polen. Huvudmålet är att utvärdera effekten av lagring och GPU på AI-arbetsbelastningar.Det går knappt en vecka innan vi inte hör från en IT-leverantör om vilken inverkan deras lösningar har på organisationer som är involverade i artificiell intelligens, djupinlärning, maskininlärning eller edge-intelligens. Problemet är dock att materiella insikter om hur dessa lösningar påverkar utförandet av var och en av dessa uppgifter saknas. Nyligen bestämde vi oss för att se om vi kunde göra något åt det genom att samarbeta med byteLAKE, en AI- och HPC-lösningsbyggare baserad i Polen. Huvudmålet är att utvärdera effekten av lagring och GPU på AI-arbetsbelastningar.
Inverkan av lagring på AI
Till en början ville vi utforska en populär uppfattning att lokal lagring påverkar AI-modellernas prestanda. Vi tog en av de Dell EMC PowerEdge R740xd servrar i vårt labb, konfigurerade med två Intel Xeon Gold 6130-processorer med 256 GB DRAM. Vi körde byteLAKE AI-testet med tre olika lokala lagringsalternativ. För testet använde vi ett arv KIOXIA PX04S SSD tillsammans med de mycket snabbare, Samsung 983 ZET och Intel Optane 900P.
Under riktmärket analyserade vi prestandan för AI-inlärningsprocessen. I testerna kör vi inlärningsprocessen för ett verkligt scenario. I det här fallet var testerna en del av utbildningsproceduren i en av byteLAKE-produkterna: EWA-vakt. Den är baserad på den senaste YOLO (You Only Look Once) som är en toppmodern realtidsdetekteringsmodell. Modellen består av ett enda indatalager, 22 faltningslager, 5 poollager, 2 routerlager, ett enda omorganiseringslager och ett enda detekteringslager.
Som ett grundläggande mått på prestanda har vi använt genomförandetiden för träning i 5000 epoker. Riktmärkena upprepades tre gånger för varje lagringskonfiguration, och medelvärdena presenteras nedan.
Resultat:
- KIOXIA 98h 24m
- Samsung 98h 44
- Intel 98h 42
Som tydligt framgår av data hade lokal lagring ingen inverkan på prestanda. Testerna sträckte sig från en SATA SSD till den senaste och bästa Optane, utan någon som helst inverkan. Som sagt, lagring kan spela en viktigare roll när det kommer till datainträde och -utgång, men beräkningsmässigt för AI, i det här fallet var det ingen påverkan.
Effekten av GPU och lagring på AI
Med lagringsdata i handen lade vi till en enda NVIDIA T4 till PowerEdge för att mäta effekten av en GPU på AI. För det här testet körde vi samma tre lagringskonfigurationer också.
Resultat:
- KIOXIA 4h 30
- Samsung 4h 28m
- Intel 4h 27m
Som väntat fick GPU:n en inverkan, en exponentiell inverkan faktiskt, vilket ledde till en 22x förbättring. Med GPU:n som accelererar den totala prestandan för AI:n trodde man att den snabbare lagringen kan påverka. Det var dock inte fallet eftersom SATA-enheten var rätt i linje med höghastighets-NVMe.
Slutsatser
I det här testet fann vi att användningen av snabbare lagringsenheter inte förbättrade inlärningsprestandan. Det främsta skälet här är en komplex struktur av AI-modellen. Tiden för inlärning är längre än tiden för dataläsning. Sagt på ett annat sätt är tiden för inlärning med den aktuella satsen bilder längre än den tid som behövs för att läsa nästa. Följaktligen döljs lagringsoperationerna bakom AI-beräkningarna.
När man lade till NVIDIA T4 trodde man att snabbare bearbetning av AI skulle få lagringen att påverka prestandan. Detta var inte fallet i det här testet, eftersom även med T4 hade AI-modellen fortfarande en tyngre inlärningskomponent och inte krävde lagring för att vara särskilt snabb.
Även om mer arbete behöver göras för att ytterligare testa effekten av specifika komponenter och system på AI, tror vi att dessa initiala data är användbara och en bra utgångspunkt för samtalet. Vi behöver applikationsdata för att kunna få en bättre förståelse för var de rätta spakarna finns ur IT-synpunkt och var budgetutgifter kan ge de mest effektfulla resultaten. Detta beror naturligtvis också till stor del på var denna aktivitet äger rum, vare sig det är i datacentret eller kanten. För nu välkomnar vi engagemanget från byteLAKE och andra i spetsen av AI-spjutet för att hjälpa till att tillhandahålla användbar data för att hjälpa till att svara på dessa pressande frågor.
Detta är vårt första AI-test men inte det sista. Mariusz Kolanko, medgrundare av byteLAKE, indikerade att de har arbetat på en produkt som heter CFD-svit (AI for Computational Fluid Dynamics "CFD" för att accelerera lösare) där djupinlärningsprocessen behöver mycket data för varje epok av träning. Denna modell kan faktiskt lägga en högre belastning på lagring för att träna modeller inom Big Data-området och kan ha en inverkan på prestandan för själva djupinlärningsprocesserna. I slutändan, som med alla applikationer, är det viktigt att förstå applikationens behov för att tilldela rätt datacenterresurser. AI är uppenbarligen inte en applikation som passar alla.
Engagera dig med StorageReview
Nyhetsbrev | Youtube | Podcast iTunes/Spotify | Instagram | Twitter | Facebook | Rssflöde
