Die Standard Performance Evaluation Corp. (SPEC) hat eine wichtige neue Version ihres Speicherlösungs-Benchmarks veröffentlicht, die IT-Managern dabei helfen soll, bessere Kauf-, Konfigurations- und Optimierungsentscheidungen zu treffen.
von Don Capps, Vorsitzender des Unterausschusses SPEC Storage
Die Standard Performance Evaluation Corp. (SPEC) hat eine wichtige neue Version ihres Speicherlösungs-Benchmarks veröffentlicht, die IT-Managern dabei helfen soll, bessere Kauf-, Konfigurations- und Optimierungsentscheidungen zu treffen.
Der neue SPECstorage Solution 2020-Benchmark basiert auf tatsächlichen Anwendungen und realen Szenarien. Es umfasst neue Workloads für künstliche Intelligenz (KI) und Genomik, erweiterte benutzerdefinierte Workload-Funktionen, eine deutlich bessere Skalierung und einen statistischen Visualisierungsmechanismus zur Anzeige von Benchmark-Ergebnissen. Darüber hinaus gibt es Dutzende Upgrades, die den Benchmark benutzerfreundlicher machen und die Ergebnisse effizienter liefern.
Arbeitsbelastungen aus der Praxis
Die Workloads im SPECstorage Solution 2020-Benchmark repräsentieren Anwendungen, die in fünf verschiedenen Märkten verwendet werden. Für jede Arbeitslast gibt es eine Reihe von Pass-Fail-Kriterien, die erfüllt sein müssen, um die Benchmark-Ergebnisse zu validieren. Beispiele für Kriterien sind:
- Ob die getestete Speicherlösung die angeforderte nachhaltige durchschnittliche Betriebsrate beibehält.
- Ob die Lösung eine durchschnittliche Latenz unter einem bestimmten Schwellenwert aufrechterhielt.
- Ob die Lösung ein gleichmäßiges Gleichgewicht der Vorgänge in den Unterkomponenten der Arbeitslast aufrechterhielt.
- Ob die Lösung für eine Unterkomponente der Arbeitslast eine maximale Latenz unter einem bestimmten Schwellenwert aufrechterhält.
Die neue KI-Workload stellt KI-Tensorflow-Bildverarbeitungsumgebungen dar, wobei Spuren von Systemen gesammelt werden, auf denen COCO-, Resnet50- und CityScape-Datensätze ausgeführt werden. Die Metriken basieren auf der Anzahl der gleichzeitigen Jobs & Karriere– definiert als eine Reihe von Unterkomponenten, die einen vollständigen Arbeitsablauf umfassen – die unter den definierten Pass/Fail-Kriterien aufrechterhalten werden können.
Die neue Genomik-Arbeitslast ergibt sich aus Spuren von I/O-Vorgängen, die von kommerziellen Einrichtungen und Forschungseinrichtungen zur Durchführung genetischer Analysen verwendet werden. Die Daten wurden bereinigt, sodass sie keine der ursprünglichen Genomdaten enthalten. Die Metriken basieren auf der Anzahl gleichzeitiger Jobs, die unter den Pass-Fail-Kriterien der Workload aufrechterhalten werden können.
Drei Workloads werden aus dem im Dezember 2014 veröffentlichten SPEC SFS 2 SP2017-Benchmark übernommen:
- Die Workload „Electronic Design Automation“ (EDA) stellt das typische Verhalten einer Mischung aus EDA-Anwendungen dar, einschließlich Front- und Back-End-Verarbeitung. Metriken basieren auf der Anzahl der Jobs, die innerhalb eines definierten Satzes von Pass/Fail-Kriterien abgeschlossen werden können.
- Die Arbeitslast der Software-Build-Umgebung umfasst metadatenintensive Tests, die aus Analysen und Systemspuren realer Anwendungen abgeleitet werden. Die Metriken basieren auf der Anzahl gleichzeitiger Builds, die unter den Pass-Fail-Kriterien abgeschlossen werden können.
- Der Videodatenerfassungs-Workload (VDA) simuliert Anwendungen, die Daten speichern, die von einer zeitkritischen Quelle, beispielsweise einer Überwachungskamera, erfasst wurden. Die Metriken basieren auf der Anzahl der Videostreams, die unter den Pass-Fail-Kriterien erfasst werden können.
Maßgeschneiderte Workloads
Der neue Benchmark ermöglicht es Benutzern, bestehende Workloads anzupassen oder neue zu erstellen, um Einblicke in Speicherleistungsprobleme zu gewinnen.
Benutzerdefinierte Workloads können eine Kombination aus Unix- und Windows-Lastgeneratoren für Anwendungen unterstützen, die diese Kombination in ihren Arbeitsabläufen verwenden. Ein Beispiel für diese Kombination wäre ein Windows-System, das Sensordaten sammelt und mithilfe von SMB speichert, während eine Unix-basierte Computerfarm die Daten mithilfe von NFS, Lustre, GPFS oder einer anderen Dateisystemtechnologie analysiert.
Ein ausgefeilter Synchronisierungsmechanismus innerhalb des SPECstorage Solution 2020-Benchmarks hält alle geografisch verteilten lasterzeugenden Prozesse mit einer Auflösung von unter einer Millisekunde synchron.
Massive Skalierung mit weniger Einschränkungen
Neue interne IPC-Mechanismen in SPECstorage Solution 2020 reduzieren die Anzahl der TCP-Ports und DNS-Suchen erheblich und verbessern so die Skalierbarkeit, Zuverlässigkeit sowie Start- und Laufzeitleistung. Die Skalierung wurde von 60,000 lastgenerierenden Prozessen in früheren Versionen auf mehr als 4 Millionen Prozesse erhöht, die über die ganze Welt verteilt werden können.
Ein ausgefeilter Synchronisierungsmechanismus hält alle geografisch verteilten lasterzeugenden Prozesse mit einer Auflösung von unter einer Millisekunde synchron.
Die neue Skalierungseffizienz ist insbesondere für den Test cloudbasierter Speicherlösungen von Bedeutung. Dies ist eine wichtige Entwicklung, da TCP-Ports bei Cloud-Anbietern eine knappe Ressource darstellen und die meisten virtuellen Maschinen bestenfalls nur ein paar Tausend aufnehmen können. Der neue Benchmark erfordert nie mehr als 1,000 TCP-Ports. Dadurch können Benutzer bis zu 4 Millionen Prozesse skalieren, ohne auf Cloud-Einschränkungen zu stoßen.
Der neue statistische Visualisierungsmechanismus in SPECstorage Solution 2020 ermöglicht es Benutzern, Laufzeitzähler zu extrahieren und sie zur Visualisierung mit einer Datenbank zu verbinden.
Visualisierung für bessere Einblicke
Der neue statistische Visualisierungsmechanismus in SPECstorage Solution 2020 ermöglicht es Benutzern, Laufzeitzähler zu extrahieren und sie zur Visualisierung mit einer Datenbank wie Graphite, Carbon oder Grafana zu verbinden. Dies bietet einen besseren Einblick in das Verhalten und die Betriebsdetails des zu testenden Systems.
Ab sofort zum Download verfügbar
Der SPECstorage Solution 2020 Benchmark ist verfügbar für sofortiger Download auf der SPEC-Website für 2,000 US-Dollar erhältlich, mit Rabatten für qualifizierte Forschungs- und akademische Einrichtungen. Die Ergebnisse des neuen Benchmarks sind nicht mit denen früherer SPEC-Speicherbenchmarks vergleichbar.
Zu den SPEC-Unternehmensmitgliedern, die an der Entwicklung des Benchmarks beteiligt sind, gehören Dell, IBM, Intel, iX Systems, NetApp, Pure Storage und WekaIO. Unterstützende einzelne Mitwirkende sind Udayan Bapat, Sorin Faibish und Brian Pawlowski.
###
Don Capps verfügt über mehr als 30 Jahre Erfahrung in der Leistungstechnik für Speichersysteme. Er ist Performance Engineer für Netapp; Gründer von Iozone.org, einer gemeinnützigen Organisation, die kostenlose Software zur Messung der Leistung von Computerspeichersystemen produziert und vertreibt; und Vorsitzender des Speicherunterausschusses der Standard Performance Evaluation Corp. (SPEC).
Beteiligen Sie sich an StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | Facebook | RSS Feed
