Big Data Analytics trifft auf großen Speicher mit Intel Optane PMem

Als der persistente Intel® Optane™ Speicher (PMem) zum ersten Mal auf den Markt kam, wussten wir, dass er die Art und Weise, wie Geschäfte im Rechenzentrum abgewickelt werden, radikal verändern würde, aber wir konnten nicht genau vorhersagen, wie viele Möglichkeiten dies haben würde. Wie bei allen neuen Technologien kannten wir die anfänglichen Anwendungsfälle für persistenten Speicher, wussten aber auch, dass weitere Anwendungsfälle auftreten würden, sobald sie allgemein verfügbar wären.

Als der persistente Intel® Optane™ Speicher (PMem) zum ersten Mal auf den Markt kam, wussten wir, dass er die Art und Weise, wie Geschäfte im Rechenzentrum abgewickelt werden, radikal verändern würde, aber wir konnten nicht genau vorhersagen, wie viele Möglichkeiten dies haben würde. Wie bei allen neuen Technologien kannten wir die anfänglichen Anwendungsfälle für persistenten Speicher, wussten aber auch, dass weitere Anwendungsfälle auftreten würden, sobald sie allgemein verfügbar wären.

In unseren Gesprächen mit Unternehmen wussten wir, dass sie die Leistungssteigerungen von In-Memory-Systemen benötigen, um wettbewerbsfähig zu bleiben. Die Verwendung von DRAM hierfür war mit Kosten- und Größenbeschränkungen verbunden, die angesichts der Größe der Daten, die im Speicher gespeichert werden sollten, schwierig waren. In diesem Artikel werden wir untersuchen, wie Hazelcast und MemVerge Intel Optane PMem nutzen, um die Einschränkungen von DRAM zu überwinden und ein Infrastrukturkonstrukt zu schaffen, das schnelle Echtzeitanwendungen unterstützt, die große Datenmengen verwenden.

Wir haben uns mit MemVerge, Hazelcast, Intel und Dell Technologies zusammengetan, um zu demonstrieren, wie Infrastruktur bereitgestellt werden kann, um Echtzeitanalysen zu ermöglichen. Konkret richteten wir eine Umgebung ein, die über einen schnell eingehenden Strom von Echtzeitdaten verfügte, die aufgenommen und umgewandelt wurden, bevor sie in einem In-Memory-Data-Mart gespeichert wurden. Das Hauptziel bestand darin zu zeigen, wie wichtig Intel Optane PMem für die Ermöglichung großer Echtzeitsysteme ist und dass zusätzliche Software erforderlich ist, damit Intel Optane PMem sein volles Potenzial ausschöpfen kann.

Bevor wir auf die von uns durchgeführten Tests eingehen, finden Sie hier eine kurze Auffrischung zu Intel Optane PMem: Hazelcast, und MemVerge.

Intel Optane PMem

Das Konzept des persistenten Speichers gibt es bereits seit Mitte der 1980er-Jahre, zu einem wirklich nutzbaren Produkt für kommerzielle Rechenzentren wurde es jedoch erst im Jahr 2018, als Intel mit der Veröffentlichung seiner Intel Optane Persistent Memory Modules (PMMs) begann. Intel Optane PMem ist ein Game-Changer für die Branche, da es etwas langsamer als DRAM, aber deutlich schneller als Solid-State-Laufwerke (SSDs) ist.

Obwohl es langsamer als DRAM ist, hat Intel Optane PMem einige deutliche Vorteile: Es ist erheblich günstiger und verfügt über eine größere Speicherkapazität als herkömmliches DRAM. Und wie der Name schon sagt, ist der In-App-Direktmodus dauerhaft, was bedeutet, dass die darauf gespeicherten Daten einen Stromausfall oder einen Neustart des Geräts, auf dem sie sich befinden, überstehen.

Eines der Geheimnisse der geringen Latenz von Intel Optane PMem besteht darin, dass es sich auf dem Speicherbus befindet, was ihm einen DRAM-ähnlichen Zugriff auf Daten ermöglicht.

Während DDR4 theoretisch eine maximale Kapazität pro Modul von 128 GB hat, liegen die am häufigsten verwendeten Kapazitäten zwischen 4 GB und 64 GB (aber selbst 64-GB-Module sind zwar verfügbar, werden jedoch nicht häufig verwendet).

Intel liefert Intel Optane PMem derzeit in Modulen mit 128 GB, 256 GB und 512 GB aus. Dies bietet die bis zu 16-fache Kapazität von DRAM.

Auf Kosten-pro-GB-Basis ist Intel Optane PMem etwa halb so hoch wie DRAM. Aufgrund seiner größeren Kapazität und seines niedrigeren Preises kann ein Server zu geringeren Kosten mehr Daten mit geringer Latenz für Anwendungen zur Verfügung stellen als ein Server nur mit DRAM. Und wie Sie unseren Tests entnehmen können, ist der Latenzunterschied zwischen DRAM und PMem im realen Einsatz bei vielen Anwendungen vernachlässigbar.

Obwohl der Name der Technologie das Wort „Persistenz“ enthält, wird die Persistenz der in Intel Optane PMem gespeicherten Daten oft übersehen und in der Vergangenheit nicht vollständig ausgenutzt. MemVerge hat jedoch Möglichkeiten entwickelt, die Datenpersistenz zu nutzen, um Unternehmen zusätzliche Dienste anzubieten.

MemVerge

Mit der großen Leistung, die Intel Optane PMem bietet, geht die Verantwortung einher, es sinnvoll zu nutzen, und hier kommt MemVerge ins Spiel. Während die meisten Serverüberwachungs- und -verwaltungstools ältere Hardware wie CPU, Festplatte und Netzwerkmetriken berücksichtigen, ist MemVerge® Memory Machine™ konzentriert sich auf die Überwachung, Verwaltung und Nutzung von DRAM und Intel Optane PMem.

Eine der frühen Herausforderungen von Intel Optane PMem bestand darin, herauszufinden, wie Anwendungen die Nutzung des Intel Optane PMem ermöglichen können. Ohne MemVerge Memory Machine können Sie Intel Optane PMem als Alternative zu DRAM verwenden, jedoch nicht als Drop-in-Ersatz, da Intel Optane PMem eine spezielle API verwendet. MemVerge abstrahiert diese API, sodass Intel Optane PMem für alle Anwendungen wie DRAM aussieht. Mithilfe von Memory Machine wird Intel Optane PMem den Anwendungen auf die gleiche Weise präsentiert wie DRAM den Anwendungen. Auf diese Weise können vorhandene Anwendungen Intel Optane PMem verwenden, ohne dass eine Neuarchitektur erforderlich ist. Dadurch spart ein Unternehmen die Kosten für die Neuprogrammierung von Anwendungen und, was noch wichtiger ist, die dafür erforderliche Zeit. Durch seine patentierte Technologie erstellt Memory Machine einen Speicherpool und stuft dann Intel Optane PMem und DRAM ein, um seine Wirkung auf Anwendungen zu maximieren, indem Daten nach Bedarf zwischen den beiden verschoben werden, um die Anwendungsleistung zu optimieren.

Das innovative ZeroIO von Memory Machine ermöglicht Memory-to-Memory-Snapshots (d. h. Snapshots der im DRAM enthaltenen Daten auf Intel Optane PMem), was den DRAM effektiv persistent macht.

In der Vergangenheit waren wir gezwungen, In-Memory-Snapshots auf herkömmlichem Speicher zu speichern, ein Vorgang, der bis zu einer Stunde dauern konnte. Mit ZeroIO kann derselbe Vorgang jedoch unterbrechungsfrei und in Sekundenschnelle durchgeführt werden.

MemVerge nutzt ZeroIO, um andere Speicherdatendienste bereitzustellen. Mit Time Travel kann eine Anwendung zu zuvor erstellten Schnappschüssen zurückkehren. Eng mit dieser Funktion verbunden ist AutoSave, das in zeitbasierten Intervallen automatisch Schnappschüsse erstellt. In Fällen, in denen die im Speicher gespeicherten Daten auf einen anderen physischen Server verschoben werden müssen, kann ein ZeroIO-Snapshot dorthin verschoben werden.

Die Speicherüberwachung sowie die Bereitstellung der oben genannten Dienste erfolgt über das MemVerge Memory Machine Management Center (M3C).

Obwohl wir erwähnt haben, dass Memory Machine mit Datenbanken verwendet wird, unterstützt es auch eine breite Palette von Anwendungen: von Autodesks Maya 3D für Animation und Rendering bis hin zu TensorFlow (einem Framework für maschinelles Lernen) und anderen Anwendungen, einschließlich Hazelcast, einem Produkt, das wir entwickelt haben wird in diesem Artikel hervorgehoben.

Hazelcast

Hazelcast ist ein wichtiger Innovator und Marktführer im wachsenden Bereich der In-Memory-Computing-Plattformen. Ihre Plattform wird von Finanz-, E-Commerce- und anderen Arten von Organisationen genutzt, bei denen Echtzeitinformationen von entscheidender Bedeutung sind. zum Beispiel zur Betrugserkennung und zur Unterstützung bei Handelsentscheidungen.

Hazelcast unterstützt schnelle Anwendungen auf zwei Ebenen. Erstens bietet es einen In-Memory-Speicher, der Daten auf mehrere Server in einem Cluster verteilt, um einen skalierbaren virtuellen Pool mit schnellem Speicher zu ermöglichen. Das Hinzufügen weiterer Daten erfordert lediglich das Hinzufügen eines weiteren Servers zum Cluster. Zweitens umfasst Hazelcast eine Rechenmaschine, die die Anwendungslogik verwaltet, die in Unteraufgaben aufgeteilt wird, die dann auf alle CPUs in einem Servercluster verteilt werden. Dies nutzt nicht nur die kollektive Rechenleistung des Clusters, sondern ermöglicht auch die parallele Verarbeitung von Daten auf effiziente und schnelle Weise (einschließlich Transformation, Anreicherung, Aggregation und Analyse). Da Hazelcast Daten über seine Streaming-Datenfunktionen sofort nach ihrer Erstellung verarbeiten kann, ist es nützlich für die Entwicklung der nächsten Generation von Echtzeitanwendungen.

Analyse von Echtzeitdaten

Echtzeitsysteme werden hauptsächlich durch zwei Hauptmerkmale bestimmt: Geschwindigkeit und Skalierbarkeit. Während die Geschwindigkeit sicherstellt, dass Sie mit den erstellten Daten Schritt halten können, garantiert die Skalierung, dass Sie die Menge dieser Daten bewältigen können. Um die Sache noch komplizierter zu machen, können Daten aus vielen verschiedenen Quellen stammen. Höhere Geschwindigkeiten und eine größere Skalierung bedeuten natürlich höhere Kosten, es sei denn, es werden innovative Mittel eingesetzt, wie beispielsweise der Ersatz von teurem DRAM durch günstigeres Intel Optane PMem.

Echtzeit-Datenanalysefunktionen bieten sofortige Einblicke in eine Vielzahl von Situationen, mit denen Unternehmen und Organisationen konfrontiert sein könnten, und liefern ihnen die Informationen, die sie benötigen, um darauf zu reagieren. Beispielsweise bedeutet die Einhaltung von Initiativen wie Basel III, nach denen Banken eine höhere Liquidität als bisher vorhalten müssen, dazu, dass ihnen weniger Geld zur Erzielung von Einnahmen zur Verfügung steht. Gleichzeitig müssen sie nachweisen, dass sie ihre täglichen Risiken verstehen, damit sie nicht von Prüfern und Aufsichtsbehörden mit noch höheren Liquiditätsanforderungen abgestraft werden. Durch Echtzeitsysteme für Risikomanagement und Compliance können Banken einen sofortigen Überblick über ihre Handelspositionen erhalten, um ihre Risikoexposition besser zu verstehen und zu melden.

Um ein weiteres Beispiel hervorzuheben: Analysesysteme für den Aktienhandel verfolgen Geschäfte und stellen sie in analysierbarer Form in Echtzeit dar. Diese Systeme können ihren hohen Aufwand durch den deutlichen Return on Investment (ROI) über die erzielten Einnahmen aus dem Aktienhandel rechtfertigen.

Testszenario

Die Anwendung, die wir zur Untersuchung dieser Technologien ausgewählt haben, basiert auf einer von Hazelcast erstellten Codebasis zur Handelsüberwachung, um zu zeigen, wie kostengünstige „On-Demand-Analysen“ eine geeignete Alternative zu kostenintensiven Echtzeitsystemen sind.

Da es sich um ein kleines Forschungsprojekt handelte, gingen wir einige Kompromisse ein, die dazu führten, dass unsere Testumgebung eine typische Produktionsumgebung nicht vollständig widerspiegelte. Beispielsweise war die Rechenleistung der von uns verwendeten Dell EMC-Server weitaus leistungsfähiger, als unsere verfügbare Datenquelle benötigte, sodass wir die verfügbare CPU-Leistung in ihnen nicht vollständig ausnutzten. Außerdem haben wir der Einfachheit halber das externe Datenbereitstellungssystem nicht optimiert. In einem Produktionssystem wären alle Komponenten optimiert und abgestimmt worden, um die Leistung und Kosteneffizienz dieses Aufbaus zu verbessern.

Testziele

Der kritischste Aspekt unserer Tests bestand darin, festzustellen, ob Intel Optane PMem einen Echtzeit-Datenfeed aufrechterhalten kann.

Wir haben darauf verzichtet, die Zugriffsgeschwindigkeiten der aggregierten/indizierten Daten in einem In-Memory-Data-Mart zu testen, der von Intel Optane PMem unterstützt wurde; In früheren Tests von MemVerge und Hazelcast haben Benchmarks gezeigt, dass die Datenzugriffsgeschwindigkeiten denen von DRAM sehr nahe kamen (in vielen Fällen wurden identische Geschwindigkeiten für Lese- und Schreibvorgänge nachgewiesen) und somit viel schneller als für festplatten- oder SSD-basierte Daten Zugriffe. Da wir wussten, dass die Datenzugriffsgeschwindigkeiten einen Vorteil gegenüber anderen Architekturkonfigurationen bieten, haben wir unsere Tests nur auf die Aufnahmeseite konzentriert.

Für unsere Tests haben wir fiktive Daten auf dem Datenquellenserver generiert. Jedes Datenelement im eingehenden Datenfeed stellte einen Aktienhandel dar. Das Aktiensymbol, die Menge, der Preis und die Zeit waren die kritischsten Werte. Jedes Aktiensymbol wurde im generierten Datensatz mehrfach verwendet, um mehrere Trades an einem Tag für eine bestimmte Aktie zu simulieren. Diese einzelnen Geschäfte wurden dann zusammengefasst, um eine laufende Gesamtsumme der Geschäfte für ein bestimmtes Aktiensymbol zu ergeben.

Die generierten Daten wurden in Apache Kafka gespeichert, da es einen schnellen Datenstrom erfassen kann. Jeder Datensatz von Kafka erforderte 210 Bytes, einschließlich aller Metadaten in der Nutzlast. Kafka wurde für die Ausführung von drei separaten Brokern konfiguriert, alle auf einem einzigen Datenquellencomputer und mit vier Partitionen auf jedem Broker. Diese Konfiguration würde natürlich nicht in einer Produktionsumgebung verwendet werden, da es unrealistisch ist, eine Maschine aus einer Hand für eine verteilte Technologie zu haben; Für unsere Testzwecke war es jedoch geeignet.

Testumgebung

Für unsere Tests verwendeten wir drei Dell EMC PowerEdge R750-Server und einen Dell EMC PowerEdge R74xd-Server. Drei führten die Analyseanwendungen mit MemVerge Memory Machine und Hazelcast aus, während der vierte die Testdaten erstellte und speicherte.

Analytics-Server

Datenquellenserver

Bei unseren Tests haben wir festgestellt, dass die DRAM-Menge in den Analyseservern deutlich geringer hätte sein können; Während DRAM hauptsächlich vom Betriebssystem verwendet wurde, nutzte die Anwendung hauptsächlich Intel Optane PMem mit nur einer kleinen Menge DRAM. Um die Kosteneinsparungen zu optimieren, wäre ein absolutes Minimum an DRAM auf dem Server eine sinnvolle Konfiguration.

Testergebnisse

Wir haben etwa 5 Milliarden Datensätze erstellt, die in Kafka gespeichert wurden, um die Datenquelle zu erstellen. Anschließend wurden die auf den drei Anwendungsservern ausgeführten Aufnahmeanwendungen gestartet, um die Daten über die drei Hazelcast-Instanzen hinweg aufzunehmen (ein Hazelcast-Server pro Dell Technologies-Server).

Wir haben die Anwendung nur mit DRAM getestet und sie mit der Verwendung von Intel Optane PMem mit MemVerge verglichen. Die Ergebnisse unserer Tests zeigten, dass wir bei Arbeitslasten, bei denen es sich überwiegend um Schreibvorgänge handelte, eine Leistungseinbuße von 32 % durch die Verwendung von nur Intel Optane PMem im Vergleich zu reinem DRAM (242 KB gegenüber 357 KB) feststellten. Aber bei Verwendung der Intel Optane PMem + DRAM-Konfiguration sahen wir nur einen Einbußen von 9 %. Dies hätte durch eine größere Anzahl von Servern im Cluster weiter eingegrenzt werden können, um die Schreibvorgänge noch weiter zu verteilen. Die zusätzlichen Kosten für zusätzliche Server könnten durch die Anschaffung von CPUs mit geringerer Leistung ausgeglichen werden, da die gegebene Arbeitslast nicht unbedingt die gesamte CPU-Leistung dieser getesteten Hardwarekonfiguration ausnutzen würde.

Wir erwogen, die Preise für jede der von uns getesteten Konfigurationen außer Acht zu lassen, lehnten dies jedoch angesichts möglicher Kostenschwankungen und anderer Faktoren ab, die dazu führen könnten, dass diese Schätzungen bald überholt sind. Unabhängig von den festgelegten Kosten ist ein mit DRAM unterstützter Intel Optane PMem jedoch deutlich günstiger als ein reiner DRAM-basierter Server.

Testinterpretation

Unsere wichtigste Erkenntnis aus unseren Tests war, dass ein Cluster aus Intel Optane PMem-fähigen Servern nahezu die gleiche Geschwindigkeit wie ein Cluster erreichen konnte, der nur DRAM nutzte – allerdings zu deutlich geringeren Kosten.

Eine weitere wichtige Erkenntnis für uns war, dass mit Intel Optane PMem Daten über Wochen oder Monate erfasst und gespeichert werden können, was Unternehmen nicht nur die Möglichkeit gibt, Daten in Echtzeit zu analysieren, sondern auch Daten für die Hochgeschwindigkeitsanalyse historischer Daten zur Verfügung zu haben Daten. Dies eröffnet Möglichkeiten zur Analyse von Trends und Mustern, die mithilfe fortschrittlicher Analysetools wie maschinellem Lernen (ML) zusätzliche Erkenntnisse liefern könnten.

Mit anderen Worten: Unternehmen können eine Echtzeit-Analyseumgebung bereitstellen, die einen weiten Zeitraum abdeckt, und neue Formen der Analyse erkunden, ohne Kosten- oder Geschwindigkeitskompromisse bei der Bereitstellung von Data Warehouses oder Data Lakes in Kauf nehmen zu müssen.

Andere Tests

Während wir die Umgebung eingerichtet hatten, wollten wir auch einige der anderen Funktionen von MemVerge Memory Machine testen, insbesondere die Snapshot- und Wiederherstellungsfunktionen. Glücklicherweise verfügt Memory Machine über eine Integration mit dem Hazelcast-Cluster, sodass Snapshots und Snapshot-Wiederherstellung direkt in M3C verwaltet werden können.

Die Snapshots können jederzeit bei Bedarf oder nach einem festgelegten Zeitplan erstellt werden. Wir haben beide Methoden während der Spitzenzeiten unseres Clusters getestet. Die Schnappschüsse wurden in Sekundenschnelle erstellt, ohne dass es zu Problemen oder Beeinträchtigungen der Leistung der Analysen kam. Wenn dem Hazelcast-Cluster etwas passiert wäre, beispielsweise ein Stromausfall, hätten die Daten mithilfe eines unserer Snapshots wiederhergestellt werden können.

Die Snapshot-Funktion dient nicht nur dem Schutz, sondern kann auch zur Erhöhung der Auslastung von Servern genutzt werden. In Finanzinstituten sind die Server während der typischen Handelszeiten stark ausgelastet, außerhalb der Geschäftszeiten jedoch relativ ungenutzt. Durch die Verwendung eines Hot-Start-Schemas kann die Auslastung der Server erheblich verbessert werden. Beispielsweise kann am Ende des Handelstages ein Snapshot der Handelsdatenbank erstellt werden. Wenn die Handelsdatenbank dann heruntergefahren wird, können die Server auf andere Datenverarbeitungsaufgaben wie Data Mining umgestellt werden. Zu Beginn eines Handelstages kann die Handelsdatenbank schnell wiederhergestellt und der Handelsbetrieb wieder aufgenommen werden.

Schlussfolgerung

Intel Optane PMem ist eine aufregende und transformative Technologie, die das Rechenzentrum neu zu gestalten beginnt, aber wie alle anderen Technologien existiert sie glücklicherweise nicht im luftleeren Raum. Führende, zukunftsorientierte Unternehmen wie Dell Technologies, Intel, MemVerge und Hazelcast entdecken Synergien und beginnen, diese neue Technologie zu nutzen, um ihr wahres Potenzial im Rechenzentrum auszuschöpfen: Intel Optane PMem-Module werden zu etwa der Hälfte der Kosten von DRAM angeboten; Dell Technologies verfügt über Server, die die enorme Speicherkapazität mit geringer Latenz unterstützen, die Intel Optane PMem bietet; Mit Hazelcast können Anwendungen diese Technologien in großem Umfang nutzen. und MemVerge stellt die Überwachungs-, Verwaltungs- und Datendienste für Intel Optane PMem bereit und sorgt durch die Abstrahierung der DRAM-API dafür, dass Intel Optane PMem für vorhandene Anwendungen als DRAM erscheint, sodass sie ohne Änderung oder Neuarchitektur ausgeführt werden können.

Wenn alles andere gleich ist, würden sich Unternehmen für Echtzeitaktivitäten gegenüber gestapelten Aktivitäten entscheiden. Da jedoch nicht alles gleich ist, wird häufig die Stapelverarbeitung gewählt, um die mit der Echtzeitverarbeitung verbundenen Kosten zu vermeiden. Da jedoch die Erwartungen der Kunden in einer zunehmend echtzeitorientierten Welt immer weiter steigen, müssen Unternehmen neue Wege finden, um sich einen Wettbewerbsvorteil zu verschaffen. Durch die Nutzung von Echtzeitgeschwindigkeiten ohne die herkömmlichen Kosten für In-Memory-Computing können führende Unternehmen den Sprung mit Technologien wie Intel Optane PMem, MemVerge und Hazelcast wagen, um Lösungen zu entwickeln, die ihnen helfen, auf ihre Anforderungen und die ihrer Kunden zu reagieren , schneller als je zuvor.

Hazelcast

MemVerge

Dieser Bericht wird von MemVerge gesponsert. Alle in diesem Bericht geäußerten Ansichten und Meinungen basieren auf unserer unvoreingenommenen Sicht auf das/die betrachtete(n) Produkt(e). Intel, das Intel-Logo und Intel Optane sind Marken der Intel Corporation oder ihrer Tochtergesellschaften.

Beteiligen Sie sich an StorageReview

Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | Facebook | TikTok | RSS Feed