The Standard Performance Evaluation Corp. (SPEC) heeft een belangrijke nieuwe versie van zijn opslagoplossingsbenchmark uitgebracht, ontworpen om IT-managers te helpen betere beslissingen te nemen over aankopen, configuraties en optimalisaties.
door Don Capps, voorzitter van de subcommissie SPEC Storage
The Standard Performance Evaluation Corp. (SPEC) heeft een belangrijke nieuwe versie van zijn opslagoplossingsbenchmark uitgebracht, ontworpen om IT-managers te helpen betere beslissingen te nemen over aankopen, configuraties en optimalisaties.
De nieuwe SPECstorage Solution 2020-benchmark is gebaseerd op actuele toepassingen en real-world scenario's. Het omvat nieuwe workloads voor kunstmatige intelligentie (AI) en genomics, uitgebreide aangepaste workload-mogelijkheden, enorm betere schaalbaarheid en een statistisch visualisatiemechanisme voor het weergeven van benchmarkresultaten. Er zijn ook tientallen upgrades die de benchmark gebruiksvriendelijker en efficiënter maken in het leveren van resultaten.
Real-world werklasten
Workloads binnen de SPECstorage Solution 2020-benchmark vertegenwoordigen applicaties die binnen vijf verschillende markten worden gebruikt. Elke werkbelasting heeft een reeks geslaagde/mislukte criteria waaraan moet worden voldaan om de benchmarkresultaten te valideren. Voorbeelden van criteria zijn:
- Of de geteste opslagoplossing de gevraagde aanhoudende gemiddelde werksnelheid handhaafde.
- Of de oplossing een gemiddelde latentie onder een bepaalde drempel handhaafde.
- Of de oplossing een gelijke balans van bewerkingen handhaafde over de subcomponenten van de werkbelasting.
- Of de oplossing een maximale latentie handhaafde onder een specifieke drempelwaarde voor een subonderdeel van de werkbelasting.
De nieuwe AI-workload vertegenwoordigt AI Tensorflow-beeldverwerkingsomgevingen, met sporen verzameld van systemen met COCO-, Resnet50- en CityScape-datasets. Metrics zijn gebaseerd op het aantal gelijktijdige vacatures— gedefinieerd als een reeks subcomponenten die één volledige workflow omvatten — die kan worden volgehouden onder de gedefinieerde criteria voor slagen/niet slagen.
De nieuwe genomics-werklast is afkomstig van sporen van I/O-bewerkingen die door commerciële en onderzoeksfaciliteiten worden gebruikt om genetische analyses uit te voeren. De gegevens zijn opgeschoond zodat ze geen originele genoomgegevens bevatten. Metrische gegevens zijn gebaseerd op het aantal gelijktijdige taken dat kan worden onderhouden onder de criteria voor geslaagd/mislukt van de werklast.
Drie workloads zijn overgenomen van de SPEC SFS 2014 SP2-benchmark, uitgebracht in december 2017:
- De werklast van Electronic Design Automation (EDA) vertegenwoordigt het typische gedrag van een combinatie van EDA-applicaties, inclusief front- en back-endverwerking. Metrieken zijn gebaseerd op het aantal taken dat kan worden voltooid binnen een gedefinieerde set van geslaagd/niet-geslaagde criteria.
- De werklast van de softwarebouwomgeving omvat metadata-intensieve tests die zijn afgeleid van analyse en systeemsporen van real-world applicaties. Statistieken zijn gebaseerd op het aantal gelijktijdige builds dat kan worden voltooid onder de pass-fail-criteria.
- De videodata-acquisitieworkload (VDA) simuleert toepassingen die gegevens opslaan die zijn verkregen van een tijdgevoelige bron, zoals een bewakingscamera. Statistieken zijn gebaseerd op het aantal videostreams dat kan worden vastgelegd volgens de criteria geslaagd/mislukt.
Werklasten op maat
De nieuwe benchmark stelt gebruikers in staat om bestaande workloads aan te passen of nieuwe te creëren om inzicht te krijgen in problemen met opslagprestaties.
Aangepaste workloads zijn geschikt voor een combinatie van Unix- en Windows-loadgenerators voor applicaties die deze combinatie in hun workflows gebruiken. Een voorbeeld van deze combinatie is een Windows-systeem dat sensorgegevens verzamelt en opslaat met behulp van SMB, terwijl een op Unix gebaseerde compute-farm de gegevens analyseert met behulp van NFS, Lustre, GPFS of een andere bestandssysteemtechnologie.
Een geavanceerd synchronisatiemechanisme binnen de SPECstorage Solution 2020-benchmark houdt alle geografisch verspreide belastinggenererende processen gesynchroniseerd met een resolutie van minder dan een milliseconde.
Grote schaalvergroting met minder beperkingen
Nieuwe interne IPC-mechanismen in SPECstorage Solution 2020 verminderen het aantal TCP-poorten en DNS-lookups aanzienlijk, waardoor de schaalbaarheid, betrouwbaarheid en opstart- en runtime-prestaties worden verbeterd. Schalen is vergroot van 60,000 load-genererende processen in eerdere versies naar meer dan 4 miljoen processen die over de hele wereld kunnen worden gedistribueerd.
Een geavanceerd synchronisatiemechanisme houdt alle geografisch verdeelde belastinggenererende processen synchroon met een resolutie van minder dan een milliseconde.
De nieuwe schaalefficiëntie is vooral belangrijk voor het testen van cloudgebaseerde opslagoplossingen. Dit is een belangrijke ontwikkeling, aangezien TCP-poorten bij cloudproviders een schaars goed zijn en de meeste virtuele machines in het gunstigste geval slechts een paar duizend kunnen herbergen. De nieuwe benchmark vereist nooit meer dan 1,000 TCP-poorten. Hierdoor kunnen gebruikers opschalen tot 4 miljoen processen zonder tegen cloudbeperkingen aan te lopen.
Het nieuwe mechanisme voor statistische visualisatie binnen SPECstorage Solution 2020 stelt gebruikers in staat om looptijdtellers te extraheren en deze te verbinden met een database voor visualisatie.
Visualisatie voor meer inzicht
Het nieuwe mechanisme voor statistische visualisatie binnen SPECstorage Solution 2020 stelt gebruikers in staat om looptijdtellers te extraheren en deze voor visualisatie te verbinden met een database zoals Graphite, Carbon of Grafana. Dit geeft meer inzicht in het gedrag en de werkingsdetails van het te testen systeem.
Nu beschikbaar om te downloaden
De SPECstorage Solution 2020 benchmark is beschikbaar voor direct downloaden op de SPEC-website voor $ 2,000, met kortingen voor gekwalificeerde onderzoeks- en academische instellingen. De resultaten van de nieuwe benchmark zijn niet vergelijkbaar met die van eerdere SPEC-opslagbenchmarks.
SPEC-bedrijfsleden die actief zijn bij de ontwikkeling van de benchmark zijn onder meer Dell, IBM, Intel, iX Systems, NetApp, Pure Storage en WekaIO. Ondersteunende individuele bijdragers zijn onder meer Udayan Bapat, Sorin Faibish en Brian Pawlowski.
###
Don Capps heeft meer dan 30 jaar ervaring in performance engineering voor opslagsystemen. Hij is een performance engineer voor Netapp; een oprichter van Iozone.org, een non-profitorganisatie die gratis software produceert en verspreidt voor het meten van de prestaties van computeropslagsystemen; en voorzitter van de Subcommissie Opslag van Standard Performance Evaluation Corp. (SPEC).
Neem contact op met StorageReview
Nieuwsbrief | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | Facebook | RSS Feed
