Quantum Myriad is een modern, flexibel SDS-platform dat een breed scala aan werklasten aankan, inclusief veeleisende AI-taken.
In 2023 lanceerde Quantum met Myriad een nieuwe, moderne kijk op softwaregedefinieerde opslag. Wij voltooiden een duik diep in Myriad eind vorig jaar en waren onder de indruk van de uiterst capabele en veerkrachtige architectuur. De gevarieerde functieset en protocolflexibiliteit van Myriad vergroten de reikwijdte van de gebruiksscenario's die verder gaan dan de behoeften op het gebied van het delen van bestanden in ondernemingen. En er is momenteel geen toepassing waar meer vraag naar is dan AI.
AI transformeert het bedrijfslandschap fundamenteel door nieuwe inzichten te brengen in de besluitvorming, complexe processen te automatiseren en nieuwe manieren te creëren waarop bedrijven met klanten kunnen communiceren en hun activiteiten kunnen beheren. Hier zijn een paar belangrijke gebieden waarop AI impact heeft:
Automatisering: AI automatiseert routinematige, foutgevoelige taken zoals gegevensinvoer en klantenondersteuning met chatbots en vindt zelfs manieren om complexe processen zoals supply chain management te optimaliseren. Dit bespaart tijd en zorgt ervoor dat mensen zich kunnen concentreren op creatievere of strategische taken.
Data-analyse: Het doorzoekt enorme stapels gegevens om sneller patronen en inzichten te vinden dan welk mens dan ook. Dit helpt bedrijven slimmere beslissingen te nemen, markttrends te voorspellen en hun klanten beter te begrijpen.
Personalisatie: Bedrijven gebruiken AI om hun diensten en marketing af te stemmen op individuele klanten, zoals aanbevelingsmotoren die leren wat een gebruiker leuk vindt, zoals te zien op Netflix of Spotify.
verbeterde beveiliging: AI is een grote speler op het gebied van cyberbeveiliging en helpt bedreigingen onmiddellijk te detecteren en erop te reageren. Het is altijd op zijn hoede en zoekt naar iets verdachts.
Innovatie: AI stimuleert innovatie door nieuwe producten en diensten te helpen ontwikkelen – van medicijnen tot nieuwe materialen – door elk aspect van het ontwerp, het uiterlijk en het onderhoud van een product te simuleren. Het kan zelfs uitkomsten voorspellen vóór fysieke tests voor medicijnen.
De uitdagingen van schaalbaarheid en flexibiliteit
Oudere opslagsystemen slagen er vaak niet in om efficiënt te schalen, een mogelijkheid die cruciaal is voor AI-toepassingen die grote datavolumes genereren en verwerken. Traditionele opslag kan aanzienlijke downtime of complexe upgrades en netwerkconfiguratie en -toewijzing vereisen om de capaciteit te vergroten. Dit is niet haalbaar in dynamische AI-omgevingen, die snelle schaalbaarheid, nul downtime en modelimplementatie vereisen zonder prestatieverlies.
AI-workloads vereisen ook een hoge doorvoer en tegelijkertijd lage latentie. Oudere systemen, meestal uitgerust met mechanische schijven en verouderde netwerken, kunnen niet aan deze snelheidseisen voldoen, wat leidt tot knelpunten die AI-operaties belemmeren. Moderne AI profiteert dramatisch van snellere technologieën zoals NVMe en GPU-versnelling, en deze zijn vaak niet compatibel met oudere systemen.
AI-toepassingen vereisen realtime gegevenstoegang en analyse uit verschillende bronnen. Oudere opslag, vaak in silo's, belemmert de integratie en verplaatsing van data, waardoor effectieve data-analyse en machinaal leren worden beperkt. Oudere beheertools hebben ook moeite met complex databeheer en geautomatiseerde tiering die nodig zijn voor AI.
Onderhoud en upgrades van verouderde opslag zijn ook duur en inefficiënt voor de AI-eisen, inclusief hoge operationele kosten voor stroom, koeling en ruimte. Het achteraf aanpassen van oude systemen om nieuwe technologieën te ondersteunen is economisch onhoudbaar.
AI gedijt op moderne opslagfuncties zoals geautomatiseerde tiering, realtime analyses en robuuste beveiligingsmaatregelen zoals encryptie. Oudere systemen missen deze kritische mogelijkheden, die essentieel zijn voor het beschermen van AI-gegevens en het voldoen aan wettelijke normen.
Het moderniseren van databeheer- en opslaginfrastructuren is van cruciaal belang om het transformatieve potentieel van AI te benutten. Opslagoplossingen van de volgende generatie die zijn ontworpen voor AI-complexiteiten kunnen de prestaties, schaalbaarheid en kostenefficiëntie aanzienlijk verbeteren, waardoor innovatieve applicaties en bedrijfsmodellen worden bevorderd.
Maak kennis met Quantum Myriad
Quantum Myriad is een krachtige, softwaregedefinieerde all-flash-opslagoplossing die is ontworpen om te voldoen aan de eisen van moderne toepassingen, met name toepassingen die een hoge doorvoer en lage latentie vereisen. Dit geldt vooral voor AI, data science, VFX en animatie. De cloud-native architectuur van Myriad biedt flexibiliteit, implementatiegemak en automatische reacties op systeemwijzigingen, zowel op locatie als in een openbare cloudomgeving zoals AWS.
Het ontwerp van Myriad is gericht op het leveren van consistente lage latentie en hoge bandbreedte. Deze kwaliteiten zijn absolute must-haves voor toepassingen die bliksemsnelle gegevensverwerking en realtime prestaties vereisen.
De architectuur van Myriad is zeer flexibel en biedt moeiteloos ruimte aan zowel kleine als grote implementaties. Het is gemakkelijk om met een klein systeem te beginnen en vervolgens een Myriad-cluster te laten groeien. Naarmate u meer knooppunten toevoegt, wordt het lineair opgeschaald, terwijl de zaken nog steeds efficiënt en evenwichtig blijven.
Clusters beheren met Myriad is eenvoudig. Het zit boordevol functies zoals zero-click opslaguitbreidingen en een gebruiksvriendelijk beheerportaal, waardoor de behoefte aan constante administratieve aandacht wordt verminderd. Myriad dekt de gegevensintegriteit met een transactionele sleutel-waardeopslag verspreid over de knooppunten en foutcorrectie wordt beheerd over alle beschikbare opslagknooppunten.
Myriad wordt geleverd met indrukwekkende netwerkondersteuning. Met ondersteuning voor RDMA over Converged Ethernet (RoCE) en integratie met bestaande netwerkimplementaties via BGP-routering kunnen gegevens moeiteloos in en uit het Myriad-cluster stromen, terwijl wordt geprofiteerd van geavanceerde netwerkmogelijkheden.
Myriad is gebruiksvriendelijk ontworpen en vereist minimale stappen voor het opzetten en uitvoeren of toevoegen van extra deellocaties. Dit maakt het perfect voor bedrijven die zich snel moeten aanpassen aan veranderende opslagbehoeften, vooral omdat de oplossing draait op standaard, kant-en-klare servers. En als je naar de cloud kijkt, speelt Myriad goed samen met platforms als AWS, zodat je verder kunt gaan dan je lokale installatie.
Quantum talloze configuraties zoals getest
De geteste Quantum Myriad was een basisconfiguratie van vijf knooppunten. Elke node was uitgerust met tien SSD's van 15 TB, wat in totaal een aanzienlijke hoeveelheid snel toegankelijke opslag in het hele cluster oplevert. Deze basisopstelling maakte een aanzienlijke capaciteit voor gegevensopslag mogelijk, terwijl de snelheid behouden bleef die nodig is voor hoge I/O-bewerkingen en het snel ophalen van gegevens – allemaal essentieel voor realtime verwerking en AI-berekeningen. De opslagknooppunten worden gespecificeerd en geconfigureerd vanuit SuperMicro en de NVMe-schijven zijn direct verkrijgbaar bij Samsung.
Zoals getest, hebben we een Myriad-platform gebruikt dat is geconfigureerd in een cluster van 5 knooppunten, elk met de volgende belangrijke specificaties:
- Quantum Myriad N1010 Storage Node met een enkele 64-core AMD EPYC CPU
- 10 x 15.36 TB NVMe TLC
- 2 x Dual Port 100GbE Ethernet-poorten
Integraal voor Myriad zijn de load balancer-knooppunten die zijn geïmplementeerd in een redundant paar dat kruislings is verbonden met alle opslagknooppunten. Deze zijn van cruciaal belang bij het beheren van het dataverkeer van en naar de opslagknooppunten. Het paar load balancers zorgt ervoor dat het netwerkverkeer gelijkmatig wordt verdeeld over de opslagknooppunten, waardoor wordt voorkomen dat een enkel knooppunt een knelpunt wordt. Waar gelijktijdige gegevenstoegang en -verwerking vereist zijn, is dit uiterst belangrijk in omgevingen waar de snelheid en betrouwbaarheid van gegevenstoegang de algehele systeemprestaties aanzienlijk kunnen beïnvloeden.
Het gebruik van meerdere knooppunten en load balancers verhoogt de prestaties en verbetert de betrouwbaarheid en fouttolerantie van het systeem. Door de opslag en netwerkbelasting te verdelen, kan het systeem efficiënt blijven werken, zelfs als een knooppunt problemen ondervindt. Deze configuratie is essentieel voor het behouden van de uptime en het waarborgen van de gegevensintegriteit in kritieke bedrijfsapplicaties.
De basisconfiguratie is flexibel ontworpen en kan indien nodig worden opgeschaald door meer Storage Nodes toe te voegen. U kunt uw opslagcapaciteit uitbreiden door extra knooppunten op te nemen, dichtere NVMe-schijven te gebruiken, of beide. U kunt bijvoorbeeld een nieuw Storage Node met schijven van 30 TB toevoegen aan een systeem dat momenteel schijven van 15 TB gebruikt, of u kunt binnen de bestaande footprint upgraden naar compactere schijfmodules. Deze schaalbaarheid is essentieel voor bedrijven die een groei in hun databehoeften verwachten of variabele datagebruikspatronen ervaren.
Comino GPU Load Gen-servers
Om het Myriad-systeem uit te oefenen en onze benchmarks te genereren, hebben we een paar Comino Grando-systemen gebruikt. De Comino Grando-systemen zijn krachtige, vloeistofgekoelde opstellingen die speciaal zijn ontworpen om de GPU-efficiëntie en stabiliteit onder belasting te maximaliseren. Ze zijn met name geschikt voor intensieve rekentaken zoals die voorkomen bij AI, data-analyse en grafisch-intensieve toepassingen. Hier volgt een samenvatting van de belangrijkste aspecten die we voor deze tests hebben geconfigureerd:
Grando-server | Grando-werkstation | |
---|---|---|
CPU | Threadripper Pro W5995WX | Draadripper Pro 3975WX |
Ram | RAM 512GB | RAM 512GB |
GPU | 2X NVIDIA A100 | 2X NVIDIA A100 |
NIC | 4x NVIDIA ConnectX 6 200G EN/IB | 4x NVIDIA ConnectX 6 200G EN/IB |
PSU | 4x 1600w voedingen | 3x 1000 SFX-L-voeding |
Opbergen | 2 TB NVMe | 2 TB NVMe |
De Comino Grando maakt gebruik van een geavanceerd vloeistofkoelsysteem voor de processor en GPU's, inclusief druppelvrije aansluitingen en een groot waterverdeelblok dat de koelvloeistofstroom efficiënt beheert om de prestaties te behouden, zelfs onder zware belasting. Deze opstelling verbetert de prestaties en minimaliseert ruis.
De nvidia-smi top -mp
opdracht geeft de GPU- en NIC-toewijzing in ons systeem weer en de paden die de gegevens moeten volgen. Hier is de legende:
X = Zelf SYS = Verbinding via PCIe en de SMP-verbinding tussen NUMA-knooppunten (bijvoorbeeld QPI/UPI) NODE = Verbinding die PCIe doorkruist, evenals de verbinding tussen PCIe Host Bridges binnen een NUMA-knooppunt PHB = Verbinding via PCIe en een PCIe Host Bridge (meestal de CPU) PXB = Verbinding die meerdere PCIe-bruggen doorkruist (zonder de PCIe Host Bridge te passeren) PIX = Verbinding doorkruist bij meest een enkele PCIe-bridge
Vanaf hier kunnen we zien dat we GPU1 niet zouden willen gebruiken met NIC4 en NIC5 voor optimale prestaties, hoewel dit een beperkte rol speelt in onze synthetische tests.
Kwantum talloze AI-testen
We hebben een technische analyse uitgevoerd om de prestaties van het Quantum Myriad-opslagcluster en de impact ervan op echte AI-workloads te evalueren. Onze analyse was gericht op het vermogen van het cluster om het gebruik van resources te optimaliseren en effectief te schalen. Tijdens deze tests hebben we gebruik gemaakt van hoogwaardige Comino-rackwerkstations uitgerust met NVIDIA ConnectX-6 200GbE NIC's en dubbele NVIDIA A100 GPU's. Deze zijn van cruciaal belang omdat ze een robuuste testomgeving vertegenwoordigen die vergelijkbaar is met wat zou kunnen worden gebruikt bij grootschalige AI-projecten.
Het primaire doel van deze tests was het beoordelen van het vermogen van het Quantum Myriad-cluster om intensieve IO-bewerkingen uit te voeren en hoe goed het de doorvoer van GPU's met hoge capaciteit kan verwerken, die van cruciaal belang zijn voor AI-berekeningen. Aangezien AI-workloads sterk afhankelijk zijn van de snelle verwerking van datasets, heeft het vermogen van een opslagoplossing om data te leveren met snelheden die overeenkomen met de GPU-verwerkingsmogelijkheden een directe invloed op de algehele systeemefficiëntie en -prestaties.
Onze belangrijkste tool om hier te testen was NVIDIA's GPUDirect Storage I/O (GDSIO). GPUDirect is een cruciale technologie die is ontworpen om de efficiëntie van gegevensoverdracht tussen opslagsystemen en GPU's te verbeteren, waardoor workflows worden gestroomlijnd die van cruciaal belang zijn bij high-performance computing, kunstmatige intelligentie en big data-analyse.
Deze technologie maakt directe geheugentoegang (DMA) van de opslag rechtstreeks naar het GPU-geheugen mogelijk, waarbij in feite de CPU wordt omzeild. Dit elimineert onnodige gegevenskopieën, wat de latentie vermindert en de doorvoer verbetert. GDSIO is de synthetische implementatie van GPUDirect en is met name representatief voor applicaties die een snelle verwerking van grote datasets vereisen. Dit omvat machine learning-modeltraining of realtime data-analyse. Het biedt ook profilerings- en afstemmingsfeedback voor opslag- en netwerkinfrastructuur.
In de context van opslagbenchmarking speelt GDSIO een cruciale rol bij het nauwkeurig beoordelen van de prestaties van opslagoplossingen in omgevingen die veel gebruik maken van GPU's. Door een directer pad voor gegevensoverdracht te bieden, maakt GDSIO benchmarking mogelijk om het ware potentieel van opslagsystemen te meten bij het ondersteunen van GPU-versnelde applicaties.
AI Share-configuratie
Bij het inloggen op Myriad krijgt de gebruiker een dashboard te zien dat een overzicht op hoog niveau toont van de huidige prestaties en specificaties van het cluster. Gebruikers kunnen eenvoudig telemetriegegevens bekijken, zoals IOPS, doorvoer, latentie en gebruik.
Als u met de muis over een van de grafieken beweegt, krijgt u zeer gedetailleerde prestatie-informatie.
Als u naar het scherm Bestandssysteem kijkt, zijn de momenteel geconfigureerde koppelpunten voor shares intuïtief zichtbaar.
De Nodes-pagina is interessant, deze toont de fysieke kaart van het cluster, de controller en de load balancers, samen met poortactiviteit en NVMe-schijven.
Als u op een van de schijven klikt, wordt de status weergegeven zoals gerapporteerd door de host.
Via Shares kunnen gebruikers de shares eenvoudig naar behoefte configureren en instructies krijgen om ze in verschillende besturingssystemen te monteren.
We hebben met Quantum samengewerkt om een speciale NFS-share op te zetten voor onze tests. Deze werden gemonteerd op /mnt/myriad/
Dit werd bereikt met behulp van de gebruiksvriendelijke Myriad UI, die een eenvoudige point-and-click-configuratie biedt. Tijdens de testperiode bevond de SMB-optie zich in Early Access, terwijl NFS het voorkeursprotocol bleef voor onze op Linux gebaseerde werklastmachines.
Ons NFS-mountpunt was geconfigureerd voor 500 TB aan ruimte, maar je kon alles gebruiken wat je nodig had door het bestandssysteem uit te breiden. U kunt de opslag vrijelijk overprovisioneren, zonder boetes, en er is geen harde limiet aan de grootte. Dit wordt erg interessant als je de datacompressie van Myriad in ogenschouw neemt, die in wezen de voetafdruk van gegevens op de NVMe SSD's verkleint.
Met één koppelpunt per host heeft elke GPU zijn eigen submap, waarbij gebruik wordt gemaakt van zijn eigen NIC om een NFSv4-beperking te voorkomen.
Quantum Myriad AI-resultaten en analyse
Laten we eerst eens kijken naar de algehele prestaties van een van onze loadgen-runs. Dit voorbeeld van het perspectief van één GPU op de opslag vertegenwoordigt de prestaties die we konden zien op alle knooppunten/GPU's.
IO-type | IO-grootte (KiB) | Doorvoer (GiB/sec) | Gem. latentie (usecs) | Operations |
---|---|---|---|---|
RANDSCHRIJVEN | 1024 | 2.57 | 10,087.74 | 78,820 |
RANDLEZEN | 1024 | 6.92 | 2,277.86 | 209,319 |
RANDSCHRIJVEN | 4096 | 3.44 | 18,193.14 | 56,616 |
RANDLEZEN | 4096 | 3.64 | 6,481.70 | 73,715 |
RANDSCHRIJVEN | 4 | 0.03 | 2,307.57 | 237,512 |
RANDLEZEN | 4 | 0.12 | 497.05 | 941,971 |
SCHRIJVEN | 1024 | 2.79 | 5,609.64 | 94,017 |
LEZEN | 1024 | 3.11 | 5,021.91 | 95,556 |
SCHRIJVEN | 4096 | 2.77 | 22,551.26 | 31,716 |
LEZEN | 4096 | 3.50 | 17,875.32 | 31,871 |
SCHRIJVEN | 4 | 0.08 | 812.93 | 580,169 |
LEZEN | 4 | 0.12 | 507.34 | 926,909 |
Testresultaten onthullen significante inzichten in de prestaties van Myriad bij verschillende IO-operaties en -groottes. Enkele van onze bevindingen zijn onder meer:
- Prestaties van kleine en grote blokken: De tests laten een duidelijk verschil zien in doorvoer en latentie bij het verwerken van kleine (4 KiB) versus grote (1024 KiB en 4096 KiB) blokgroottes. RANDREAD-bewerkingen met grote blokken bij 4096 KiB lieten bijvoorbeeld de hoogste doorvoer zien van ongeveer 9.64 GiB/sec, met een relatief lagere gemiddelde latentie van 6,481.70 microseconden. Dit duidt op uitstekende prestaties voor grootschalige gegevensverwerkingstaken die gebruikelijk zijn bij machine learning-modeltraining, waarbij vaak grote datasets worden gebruikt.
- GPU-verzadigingsvermogen: De doorvoer die wordt behaald tijdens grote bloktests, vooral voor RANDREAD-bewerkingen, suggereert dat het Myriad-opslagcluster zeer goed in staat is om de NVIDIA A100 GPU's te ondersteunen bij werklasten van het type inference retrieval en om controlepunten naar een centrale locatie te verplaatsen tijdens trainingswerklasten. Gezien het feit dat de A100 enorme hoeveelheden data kan verwerken voor deep learning, zijn de hoge doorvoersnelheden essentieel om ervoor te zorgen dat deze GPU's niet inactief blijven in afwachting van data, waardoor de rekenefficiëntie wordt gemaximaliseerd.
- Behandeling van lage blokgroottes: Omgekeerd hebben we bij het onderzoeken van bewerkingen met 4 KiB-blokken een dramatische toename van het aantal bewerkingen en de latentie waargenomen, met een aanzienlijke daling van de doorvoer. Dit scenario is van cruciaal belang voor het begrijpen van de prestaties in omgevingen waar meerdere kleine bestandstransacties plaatsvinden, zoals in online transactieverwerkingssystemen of databases die talloze kleine zoekopdrachten verwerken.
Maar wacht, er is meer!
Toen we ons concentreerden op de 4K-tests, namen de zaken een interessante wending toen we Myriad met meer GPU's laadden. Vanwege de beperkingen van het montageprotocol, zoals ontdekt tijdens de eerste runs tijdens de ontdekkingsfase, gedroeg Myriad zich zoals bedoeld, maar met een verrassende wending. Toen we Myriad tegelijkertijd op alle GPU's laadden, waren de resultaten, dankzij enkele scripting-hacks, indrukwekkend. Myriad leverde in essentie dezelfde prestaties aan alle knooppunten tegelijkertijd.
4K-bestandsgrootte
Hier is een compilatie van vijf gelijktijdige uitvoeringen van de 4K-werklast:
Knooppunt | IO-type | Doorvoer (MiB/sec) | Gem. latentie (usecs) | Operations |
---|---|---|---|---|
1 | RANDLEZEN | 125.73 | 497.05 | 941,971 |
2 | RANDLEZEN | 121.29 | 506.67 | 907,642 |
3 | RANDLEZEN | 128.37 | 474.73 | 906,847 |
4 | RANDLEZEN | 122.93 | 487.88 | 966,441 |
Totaal willekeurig lezen | 498.31 | 491.58 | 3,722,901 | |
1 | RANDSCHRIJVEN | 27.08 | 2,307.57 | 237,512 |
2 | RANDSCHRIJVEN | 26.88 | 2,285.62 | 231,625 |
3 | RANDSCHRIJVEN | 26.10 | 2,406.89 | 228,983 |
4 | RANDSCHRIJVEN | 28.27 | 2,341.65 | 245,172 |
Totaal willekeurig schrijven | 108.34 | 2,335.43 | 943,292 | |
1 | LEZEN | 123.19 | 507.34 | 926,909 |
2 | LEZEN | 125.69 | 511.23 | 900,136 |
3 | LEZEN | 123.90 | 502.04 | 945,949 |
4 | LEZEN | 123.77 | 502.36 | 948,850 |
Totaal gelezen | 496.54 | 505.74 | 3,721,844 | |
1 | SCHRIJVEN | 76.87 | 812.93 | 580,169 |
2 | SCHRIJVEN | 80.17 | 839.88 | 551,311 |
3 | SCHRIJVEN | 78.62 | 783.24 | 556,060 |
4 | SCHRIJVEN | 73.40 | 811.62 | 597,226 |
Totaal schrijven | 309.06 | 811.92 | 2,284,766 |
4 MB bestandsgrootte
Knooppunt | IO-type | Doorvoer (GiB/sec) | Gem. latentie (usecs) | Operations |
---|---|---|---|---|
1 | RANDLEZEN | 3.44 | 6,481.70 | 73,715 |
2 | RANDLEZEN | 3.97 | 6802.17 | 75,689 |
3 | RANDLEZEN | 3.83 | 6498.16 | 73,277 |
4 | RANDLEZEN | 3.50 | 6,589.43 | 70,443 |
Totaal willekeurig lezen | 14.75 | 6,593 | 293,124 | |
1 | RANDSCHRIJVEN | 3.44 | 18,193.14 | 56,616 |
2 | RANDSCHRIJVEN | 3.4048 | 19090.38 | 54,725 |
3 | RANDSCHRIJVEN | 3.4349 | 18125.25 | 56,277 |
4 | RANDSCHRIJVEN | 3.5084 | 17018.30 | 54,397 |
Totaal willekeurig schrijven | 13.78 | 18,107 | 222,015 | |
1 | LEZEN | 3.50 | 17,875.32 | 31,871 |
2 | LEZEN | 3.4388 | 17110.93 | 31,119 |
3 | LEZEN | 3.5133 | 18124.53 | 31,096 |
4 | LEZEN | 3.3035 | 17755.53 | 31,257 |
Totaal gelezen | 13.75 | 17,717 | 125,343 | |
1 | SCHRIJVEN | 2.77 | 22,551.26 | 31,716 |
2 | SCHRIJVEN | 2.8845 | 23674.69 | 33,017 |
3 | SCHRIJVEN | 2.7008 | 22661.31 | 30,971 |
4 | SCHRIJVEN | 2.7719 | 22798.83 | 29,519 |
Totaal schrijven | 11.13 | 22,922 | 125,223 |
De unieke opslagarchitectuur van Quantum Myriad biedt dubbele toegankelijkheid die zowel GPU-bewerkingen als gelijktijdige gebruikersactiviteiten ten goede komt zonder prestatieverlies. Dit is met name effectief in omgevingen met veel vraag waar gelijktijdige gegevenstoegang en -verwerking vereist zijn, vergelijkbaar met een gebruikersgemeenschap van AI en machine learning-servers en toegang van eindgebruikeranalisten. Door de toegankelijkheid van grote datablokken voor GPU's te ondersteunen naast andere gebruikersactiviteiten, zorgt Myriad voor een efficiënt gebruik van bronnen en voorkomt het knelpunten. Dit is cruciaal voor het handhaven van hoge operationele snelheden en gegevensnauwkeurigheid in toepassingen zoals realtime analyses en AI-modeltraining.
Het is de moeite waard hier op te merken dat de feesttruc van Quantum Myriad het vermogen is om op bekwame wijze meerdere datastromen te verwerken tot aan de beperkingen van NFSv4, die gemakkelijk kunnen worden getroffen onder intense GPU-belastingen. De geavanceerde mogelijkheden voor gegevensbeheer van het systeem voorkomen dat deze limieten de algehele prestaties van het Myriad-platform beïnvloeden, en zorgen ervoor dat veeleisende GPU-taken andere bewerkingen op hetzelfde netwerk niet vertragen. Deze functie is vooral nuttig voor sectoren die robuuste gegevensverwerkingsmogelijkheden nodig hebben zonder dat dit ten koste gaat van de prestaties van gelijktijdige taken, en ondersteunt zo een naadloze workflow voor alle gebruikers.
Implicaties en schaalvergroting in de echte wereld
Quantum Myriad heeft het potentieel om met toepassingen uit de echte wereld te werken en scenario's eenvoudig op te schalen. Het vermogen om grote blokgroottes te verwerken met een hoge doorvoer en lage latentie komt ten goede aan AI-workloads, inclusief het trainen van deep learning-modellen waarbij grote datasets in batches worden verwerkt. Een hoge doorvoer zorgt ervoor dat gegevens zonder vertraging naar de GPU's worden gevoerd, wat cruciaal is voor het behoud van een hoog gebruik en efficiënt leren.
Een ander essentieel kenmerk is schaalbaarheid. De prestaties van het Quantum Myriad-opslagcluster in onze tests suggereren dat het grotere configuraties efficiënt kan ondersteunen. Naarmate het aantal verbonden apparaten (bijvoorbeeld extra GPU's of andere krachtige computereenheden) toeneemt, lijkt het opslagsysteem in staat om hoge niveaus van gegevenslevering te handhaven zonder een knelpunt te worden.
De prestaties van het Quantum Myriad-opslagcluster tijdens RANDREAD-bewerkingen met grote blokken waren vooral opmerkelijk tijdens onze tests. Deze mogelijkheid is van cruciaal belang bij het overwegen van de behoeften van moderne AI- en machine learning-frameworks.
De RANDREAD-test, met zijn aanzienlijke doorvoer, demonstreert het vermogen van Myriad om snel en efficiënt grote hoeveelheden gegevens op te halen. Dit wordt vooral belangrijk in de context van werklasten voor gevolgtrekkingen, waarbij de snelheid waarmee gegevens toegankelijk zijn rechtstreeks van invloed is op de prestaties van AI-modellen in productieomgevingen. Inferentietaken, die vaak snelle toegang tot grote datasets vereisen voor realtime besluitvorming, profiteren enorm van de snelle gegevensherstelmogelijkheden van het Myriad-cluster. In toepassingen zoals real-time beeldherkenning of complexe beslissingsmachines die geautomatiseerde systemen aandrijven, zorgt de mogelijkheid om grote datablokken met minimale latentie op te halen ervoor dat de inferentie-engines met maximale efficiëntie kunnen werken zonder dat ze vastlopen op het gebied van data.
Tijdens de testfase demonstreerde Myriad robuustheid bij het verwerken van controlepuntgegevens tijdens trainingswerklasten, wat net zo belangrijk is als de prestaties van het cluster tijdens schrijfbewerkingen. Het trainen van moderne AI-modellen, vooral deep learning-netwerken, omvat iteratieve processen waarbij controlepunten cruciaal zijn. Deze controlepunten, die de status van het model tijdens een bepaalde iteratie weergeven, moeten periodiek worden opgeslagen om ervoor te zorgen dat de voortgang niet verloren gaat en dat modellen effectief kunnen worden verfijnd zonder dat ze helemaal opnieuw moeten worden getraind. Myriad verplaatst op efficiënte wijze grote schrijfbewerkingen naar het opslagcluster, waardoor de I/O-tijd wordt verkort en GPU's zich kunnen concentreren op berekeningen in plaats van op gegevensverwerking.
De architectuur van Myriad zorgt ervoor dat naarmate de datavereisten toenemen, of dit nu het gevolg is van grotere datasets of complexere vereisten voor modeltraining, het systeem dienovereenkomstig kan worden geschaald zonder knelpunten, downtime of verlies van gebruikersconnectiviteit te creëren. Deze schaalbaarheid is essentieel in een tijdperk waarin de workloads op het gebied van AI en machine learning snel evolueren en opslagoplossingen vereisen die gelijke tred houden met de huidige eisen en toekomstbestendig zijn tegen de komende ontwikkelingen in AI-onderzoek en -ontwikkeling.
Conclusie
Het Quantum Myriad-opslagcluster levert uitzonderlijke prestaties bij het beheren van diverse en veeleisende I/O-bewerkingen. Het is een veelzijdige oplossing voor traditionele zakelijke workloads en geavanceerde AI-toepassingen. Dankzij de hoge doorvoer en lage latentie reiken de mogelijkheden van Myriad verder dan traditionele datawarehousing-taken die cruciaal zijn voor het handhaven van soepele operaties en het efficiënt ophalen van gegevens.
Naast deze conventionele toepassingen maken de robuuste prestatiekenmerken van Myriad het een ideale kandidaat voor de intensievere eisen van AI-workflows. Hier blinkt het cluster uit in scenario's die snelle gegevenstoegang en snelle verwerking vereisen, wat essentieel is voor het trainen van geavanceerde machine learning-modellen en het runnen van complexe neurale netwerken. De mogelijkheid om snel grote, gedeelde gegevensvolumes te lezen en te schrijven kan het GPU-gebruik verhogen en ervoor zorgen dat AI-berekeningen zonder vertraging kunnen worden uitgevoerd.
Deze uitgebreide tests van het Myriad-cluster dienen als een cruciale maatstaf voor het begrijpen van de schaalbaarheid en prestaties ervan in omgevingen die traditionele IT- en zakelijke behoeften combineren met de hoge eisen van AI-onderzoek en -ontwikkeling. De resultaten benadrukken de technische bekwaamheid van Myriad en zijn potentieel om AI-toepassingen en machine learning-projecten met hoge inzet te faciliteren, wat het aanpassingsvermogen en de efficiëntie ervan over een breed spectrum van computertaken onderstreept. Dergelijke capaciteiten bevestigen de rol van Myriad als fundamentele technologie die ondernemingen ondersteunt bij het navigeren door de huidige behoeften en toekomstige technologische landschappen.
Dit rapport wordt gesponsord door Quantum. Alle standpunten en meningen in dit rapport zijn gebaseerd op onze onbevooroordeelde kijk op het (de) product(en) in kwestie.
Neem contact op met StorageReview
Nieuwsbrief | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed