Wir haben kürzlich ein Projekt im Stil einer Datenanalyse abgeschlossen, bei dem wir Folgendes hatten: 100 TB Ausgabedatei. Obwohl wir in unserem gesamten Labor über ausreichend Speicherplatz verfügen, birgt die dauerhafte Speicherung einer 100-TB-Datei eine Reihe einzigartiger Herausforderungen. Darüber hinaus „brauchen“ wir die Datei nicht wirklich, möchten sie aber, wenn möglich, lieber behalten. Die Cloud eignet sich offensichtlich für diesen Bedarf, aber die Zeit, so viele Daten über das Kabel zu übertragen, ist immens, deshalb haben wir uns entschieden, AWS Snowball Edge-Geräte auszuprobieren. Das Ziel – unsere Daten so schnell wie möglich vom Labor in Cincinnati in einen S3-Bucket in der AWS-Region US-Ost-2 zu übertragen.
Wir haben kürzlich ein Projekt im Stil einer Datenanalyse abgeschlossen, bei dem wir Folgendes hatten: 100 TB Ausgabedatei. Obwohl wir in unserem gesamten Labor über ausreichend Speicherplatz verfügen, birgt die dauerhafte Speicherung einer 100-TB-Datei eine Reihe einzigartiger Herausforderungen. Darüber hinaus „brauchen“ wir die Datei nicht wirklich, möchten sie aber, wenn möglich, lieber behalten. Die Cloud eignet sich offensichtlich für diesen Bedarf, aber die Zeit, so viele Daten über das Kabel zu übertragen, ist immens, deshalb haben wir uns entschieden, AWS Snowball Edge-Geräte auszuprobieren. Das Ziel – unsere Daten so schnell wie möglich vom Labor in Cincinnati in einen S3-Bucket in der AWS-Region US-Ost-2 zu übertragen.
Was sind AWS Snowball Edge-Geräte?
Bevor wir uns zu sehr mit der Datenmigrationsaufgabe befassen, ist eine kurze Einführung in AWS Snowball Edge-Geräte angebracht. AWS Snow Family ist eine Sammlung speziell entwickelter Services. Diese Dienste führen rechenintensive Arbeitslasten aus und speichern gleichzeitig Daten an Edge-Standorten für verweigerte, unterbrochene, intermittierende oder eingeschränkte (DDIL) Netzwerkkonnektivität und für die Übertragung großer Datenmengen aus lokalen und rauen oder mobilen Umgebungen. AWS Snowball Edge-Geräte sind robust, tragbar und sicher und bieten entweder speicheroptimierte oder rechenoptimierte Funktionen. Diese Geräte sollen Kunden dabei helfen, große Datenmengen sicher und effizient zu verschieben (zu AWS) oder zu verarbeiten, selbst an abgelegenen oder nicht verbundenen Standorten.
Snowball Edge-Geräte gibt es in zwei Versionen: der Snowball Edge Storage Optimized, die wir hier verwenden, und der Snowball Edge Compute Optimized. Die speicheroptimierte Version ist für Datenübertragungs- und Speicheranwendungsfälle konzipiert und verfügt über eine Speicherkapazität von bis zu 80 TB. Die Compute Optimized-Version ist für Datenverarbeitungs- und Berechnungsanwendungsfälle gedacht und verfügt über bis zu 104 virtuelle CPUs und 416 GB RAM. Es gibt sogar eine Option für ein rechenoptimiertes System, das eine GPU einschließt. Für diejenigen mit einem geringeren Datenbedarf gibt es auch eine kleine, ultraportable Snow-Familie mit dem Namen AWS Snowcone.
Beide Versionen von Snowball Edge verfügen über integrierte Sicherheitsfunktionen wie manipulationssichere Gehäuse, 256-Bit-Verschlüsselung und Trusted Platform Module (TPM)-Chips, um die Integrität und Vertraulichkeit der Daten zu gewährleisten. Darüber hinaus können Snowball Edge-Geräte so konfiguriert werden, dass sie AWS Lambda-Funktionen, Amazon EC2-Instanzen und andere AWS-Dienste am Edge ausführen, sodass Kunden die Datenverarbeitung und -analyse vor Ort durchführen können, bevor sie die Daten an AWS übertragen.
Für unseren Anwendungsfall bieten Snowball Edge-Geräte Kunden eine schnelle, sichere und flexible Möglichkeit, große Datenmengen in verschiedenen Umgebungen, einschließlich entfernter oder nicht verbundener Standorte, zu übertragen und zu verarbeiten.
AWS Snowball-Bestellprozess
Für erfahrene AWS-Profis ist der Bestellvorgang für Snowball unkompliziert. Selbst Neulinge wie ich konnten die einzelnen Schritte durchklicken, mit ein paar hilfreichen Anstößen von unseren AWS-Freunden, die uns durch den Prozess gecoacht haben.
Schritt 1 besteht darin, Ihrem Job einen Namen zu geben und den Jobtyp für Ihr Snow-Gerät auszuwählen. Unsere Aufgabe bestand lediglich darin, Daten nach S3 zu übertragen, aber Snow-Geräte können auch Daten aus S3 exportieren. Sie können auch als Punktlösungen verwendet werden, um lokale Rechenleistung, Speicher und GPU an einem Edge-Standort bereitzustellen.
Schritt 2 ist weiterhin einfach, mit der Auswahl des Snow-Geräts. In unserem Fall haben wir uns für die Snowball Edge Storage Optimized-Einheit mit 80 TB zur Verfügung entschieden. Es gibt verschiedene Preisoptionen für AWS Snowball. Es gibt eine Preisoption für die Nutzung pro Tag, oder AWS Snowball ermäßigt die Preise erheblich (bis zu 62 %) für 1-Jahres-Nutzung und 3-Jahres-Nutzungsverpflichtungen. Bei diesen langfristigen Angeboten zahlen Sie im Voraus, um die Snowball-Geräte zu einem ermäßigten Preis zu nutzen, und vermeiden die Zahlung zusätzlicher Servicegebühren oder Tagesgebühren, bis Ihr Prepaid-Zeitraum endet. Sie können sich bei der Bestellung eines Snowball-Geräts in der AWS Snow Family-Konsole für einen festen Vorabpreis anmelden.
Wählen Sie abschließend die EC2-Instanzen und S3-Buckets aus, die Sie zum Importieren benötigen. Da es sich um ein neues Konto handelte, haben wir einen neuen S3-Bucket erstellt. Wir brauchten dafür auch kein EC2, haben es aber geschafft Späteres Querladen einer EC2-Instanz für ein bisschen Spaß.
Schritt 3 bietet einige zusätzliche Funktionen, wie ein optionales AWS IoT Greengrass für Snow und eine Option für die Remote-Geräteverwaltung.
Schritt 4 behandelt Sicherheits-, Versand- und Benachrichtigungseinstellungen. Hier haben wir die Standardverschlüsselung verwendet und die vorgeschlagene Servicerolle erstellt, damit AWS die Daten verarbeiten kann. Anschließend fügen Sie Ihre Adresse hinzu und wählen die Lieferzeit für einen oder zwei Tage aus. Sie können hier auch E-Mail-Benachrichtigungen hinzufügen, obwohl die AWS-Konsole den gesamten Fortschritt anzeigt, während der Job das System durchläuft.
Der letzte Schritt besteht darin, alle eingegebenen Informationen zu validieren und abzusenden. Dadurch wird der Auftrag erstellt und dann beginnt der Erfüllungsprozess durch AWS. Wir haben den Prozess mit AWS ziemlich langsam durchlaufen, um alle Optionen zu verstehen. Selbst bei unserem lockeren Tempo dauerte der gesamte Vorgang etwa 10 Minuten. Bei einem aggressiveren Weg würde die Bestellung eines Snow-Geräts höchstens zwei bis drei Minuten dauern.
Damals dachten wir, wir bräuchten zwei Snowball Edge-Geräte. Im Nachhinein betrachtet brauchten wir nur einen. Der Prozess zum Klonen dieses Jobs ist ebenfalls sehr einfach und es sind nur ein paar weitere Klicks erforderlich, um ein paar Snowballs für größere Datensätze zusammenzustellen.
Von hier aus ist es ein Wartespiel, während der Erfüllungsprozess über das System abläuft. Da es sich um ein brandneues Konto handelte, haben wir einige Bedenken geäußert und gleich zwei Snowball Edge-Geräte bestellt. Bei Konten mit Aktivität sollte es jedoch keine derartigen Überprüfungen geben. Die Snowballs tauchten innerhalb weniger Tage auf und wir machten uns daran, unsere Daten für den Transport vorzubereiten.
Eine Sache, die Sie bei Snowball berücksichtigen sollten, ist die Preisgestaltung. Es fällt eine Auftragsgebühr an, die den zehntägigen Einsatz des Geräts vor Ort beinhaltet. Natürlich fallen auch in S3 Cloud-Gebühren an, sobald die Daten dort ankommen. Die Preisgestaltung für Snowball ist zwar nicht kompliziert, hängt jedoch davon ab, welches System Sie auswählen, wie lange Sie es benötigen und in welcher Region Sie sich befinden. In unserem Fall betrug die Auftragsgebühr 300 US-Dollar pro Snowball, und selbst das könnte sein bei langfristigen Verträgen drastisch gesenkt. Sie können jedoch ein Gefühl für die Snowball-Preise bekommen; AWS hat eine Tabelle, die alles darlegt.
Datenaufbereitung
Wir haben mit einer 100-TB-Textdatei begonnen, aber wer Erfahrung mit S3 hat, weiß, dass das ein Problem ist. S3 hat eine Objektgrößenbeschränkung von 5 TB, was bedeutet, dass wir etwas gegen unsere einzelne nicht konforme Datei unternehmen mussten. Unsere Antwort bestand darin, es zu zerstückeln und zu prüfen, ob wir gleichzeitig einen gewissen Komprimierungsvorteil erzielen könnten. Die Hoffnung war, dass wir uns auf eine einzige Snowball-Einheit beschränken könnten, die maximal 80 TB nutzbare Kapazität bietet. Während wir auf die Ankunft des Snowball Edge warteten, machten wir uns an die Vorbereitung der Daten.
Nachbildung des Prozesses
Wir verwendeten unser Lieblings Anwendung für die Arbeit mit großen Zahlen, Y-Cruncher, der ein Dienstprogramm zum Anzeigen, Teilen und Komprimieren von Ziffern enthält. Aufgrund der Objektgrößenbeschränkung von S3 haben wir uns entschieden, alle 100 Billionen Ziffern von Pi in 200 Dateien aufzuteilen. Nach der Komprimierung ergab sich daraus eine Dateigröße von etwa 191 GB mit jeweils 500,000,000,000 (500 Milliarden) Ziffern.
AWS Snowball-Konfiguration
Nachdem wir die Daten vorbereitet hatten und das Snowball-Gerät in der Hand hatten, starteten wir das erste Gerät, um es online zu bringen. Das Einrichten von Snowball ist sehr einfach, da es mit Strom versorgt wird und auf das Netzwerk zugreifen kann. Wir haben uns für den 10GbE-Port entschieden. Viele werden sich für die Verwendung von CLI als Schnittstelle mit Snowball entscheiden, was wahrscheinlich die bevorzugte Methode ist. Dennoch haben wir uns aus optischen Gründen und um das Erlebnis aus der Sicht eines Nicht-AWS-Profis erleben zu können, für AWS OpsHub für Snow Family entschieden.
AWS OpsHub für die Snow-Familie ist ein benutzerfreundliches Tool, das Kunden bei der Verwaltung ihrer Snow Family-Geräte und lokalen AWS-Dienste unterstützt. Benutzer können Geräte entsperren und konfigurieren, Dateien übertragen, Instanzen starten und verwalten sowie Gerätemetriken über eine grafische Benutzeroberfläche überwachen, die eine einheitliche Ansicht der auf den Geräten ausgeführten AWS-Dienste bietet. AWS OpsHub automatisiert betriebliche Aufgaben und ist so konzipiert, dass es Benutzer mit unterschiedlichem technischem Fachwissen unterstützt, wodurch die Verwaltung einer großen Anzahl von Snow Family-Geräten einfacher wird.
Mit der IP-Adresse vom LCD-Bildschirm und dem Entsperrcode und der Manifestdatei von Ihrer AWS-Konsole können Sie den Snowball Edge entsperren und darauf zugreifen. Dies kann einige Minuten dauern, da AWS die Anmeldeinformationen validiert, den Inhalt entschlüsselt und einige andere Verwaltungsaufgaben erledigt.
Sobald Sie angemeldet sind, werden Sie zu einem visuellen Dashboard mit den relevanten Geräteinformationen und den aktivierten Diensten weitergeleitet. Zu diesem Zeitpunkt sind wir online, mit dem Netzwerk verbunden und bereit, unsere Daten zu verschieben.
Übertragen von Daten an AWS Snowball
Nachdem Snowball Edge im Netzwerk eingerichtet und mit OpsHub verbunden ist, ist es an der Zeit, unsere 200 200-GB-Dateien zu verschieben. Während die meisten für diesen Vorgang die CLI-Schnittstelle verwenden würden und von einer zeitoptimierteren Erfahrung profitieren würden, haben wir uns für Einfachheit entschieden. Mit OpsHub in Windows haben wir einfach den Ordner mit unseren Pi-Daten ausgewählt und die Daten losgelassen. Es dauerte etwa vier Tage, bis die Dateien im Snowball ankamen.
Nachdem die Datenübertragung abgeschlossen war, schalteten wir das Gerät aus, woraufhin das E-Ink-Display auf die Adresse für die Aufnahme wechselte. In unserem Fall bedeutete das Columbus, Ohio, die Heimat von us-east-2. Sobald es in den Händen des Verladers ist, verschwinden übrigens auch die Zugangsdaten von der Webkonsole, wodurch die Daten unterwegs geschützt sind.
AWS verfolgt den Schneeballstatus
Nach der Abgabe bei UPS aktualisiert die AWS-Webschnittstelle den Auftragsstatus mit der Sendungsverfolgungsnummer und dem Fortschritt des Snowballs bei Transport, Sortierung, AWS-Empfang und Import in S3. Es dauerte ein paar Tage, bis die Snowball nach Columbus gelangte, und zwei Tage, bis der Import abgeschlossen war.
Nachdem bestätigt wurde, dass der Vorgang abgeschlossen ist, haben wir in S3 eine Visualisierung durchgeführt, um sicherzustellen, dass alle Daten korrekt importiert wurden. Um den Kunden eine formellere Sicherheit zu geben, stellt AWS außerdem einen Prüfbericht für den gesamten Prozess sowie etwaige Ausnahmen zur Verfügung.
In unserem Protokoll können wir die 200 Dateien sehen, die ohne Fehler abgeschlossen wurden. AWS protokolliert auch die Highlights, während der Snowball Edge und seine Daten durch das System bewegt werden.
Abschließende Überlegungen
AWS Snowball Edge-Geräte sind nicht neu; AWS war einer der Vorreiter, wenn es darum ging, seinen Kunden eine sichere Möglichkeit zu bieten, Offline-Daten oder Remote-Speicher schneller in die Cloud zu verschieben. Hätten wir nur versucht, unsere Daten über das Kabel nach S3 zu kopieren, würden wir wahrscheinlich immer noch darauf warten, dass dieser Job abgeschlossen ist, und nicht in der Lage sein, viel anderes produktives zu tun, da unsere Internetleitung blockiert ist. Für uns war die Snowball Edge Storage Optimized-Einheit genau das, was wir brauchten, um unsere Daten so schnell wie möglich in die Cloud zu bringen.
Dies ist nicht kostenlos. Während Langzeitkunden bessere Preise erhalten können, beliefen sich unsere Eigenkosten für die Snowballs auf etwa 700 US-Dollar. Das ist jedoch nicht schlecht, wenn man bedenkt, dass wir versehentlich ein zusätzliches Gerät bestellt haben und nicht so schnell gehandelt haben, um die Einheiten wieder an AWS zu übergeben. Für die Aufnahme der Daten in S3 fielen keine Gebühren an und die laufenden S3-Kosten richten sich nach Ihrem Vertragspreis mit AWS.
Es sollte beachtet werden, dass wir den Snowball Edge auf die grundlegendste Art und Weise verwendet haben. Die Snowball-Geräte mit Compute, insbesondere solche mit GPUs, bieten deutlich mehr Potenzial für intensivere Anwendungsfälle. Wer Interesse hat, sollte sich unsere aktuelle Ausgabe ansehen AWS Snow Podcast. Letztendlich sind die Snow-Geräte nur eine kleinere Version von AWS mit einem Speicher- und Rechenlimit. Aber wie wir gesehen haben, sind sie sehr flexibel, äußerst einfach bereitzustellen und bringen die Daten zuverlässig dorthin, wo sie benötigt werden. Allen, die über AWS Snow-Geräte nachdenken, empfehlen wir dringend, sie auszuprobieren.
Beteiligen Sie sich an StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Discord | RSS Feed
