La rapida crescita dell’edge computing ha portato a un’impennata nella generazione e raccolta di dati a livelli senza precedenti. Le installazioni temporanee, come stazioni di ricerca scientifica, sistemi di sorveglianza e strutture industriali, spesso richiedono una raccolta e un trasferimento rapidi dei dati per garantire operazioni senza intoppi. Tuttavia, il costo elevato dell’hardware, unito alla necessità di un’archiviazione dei dati affidabile ed efficiente, può rappresentare sfide significative per questi progetti. Amazon AWS Storage Optimized Snowball, combinato con macchine virtuali personalizzate, presenta una soluzione rivoluzionaria a questo problema.

La rapida crescita dell’edge computing ha portato a un’impennata nella generazione e raccolta di dati a livelli senza precedenti. Le installazioni temporanee, come stazioni di ricerca scientifica, sistemi di sorveglianza e strutture industriali, spesso richiedono una raccolta e un trasferimento rapidi dei dati per garantire operazioni senza intoppi. Tuttavia, il costo elevato dell’hardware, unito alla necessità di un’archiviazione dei dati affidabile ed efficiente, può rappresentare sfide significative per questi progetti. Amazon AWS Storage Optimized Snowball, combinato con macchine virtuali personalizzate, presenta una soluzione rivoluzionaria a questo problema.

AWS Snowball Edge è disponibile in due tipi di dispositivi principali. Snowball Edge Compute Optimized, con più capacità di elaborazione (vCPU, DRAM) e GPU, adatto per carichi di lavoro con prestazioni più elevate, e Snowball Edge Storage Optimized con più spazio di archiviazione, adatto per migrazioni di dati su larga scala e carichi di lavoro orientati alla capacità. I nostri requisiti iniziali al momento dell'ordine di Snowball erano perfetti per la soluzione Snowball Edge Storage Optimized.

Durante l'esplorazione dell'uso di Snowball per spostare il nostro Calcolo di 100 trilioni di Pi al cloud, abbiamo finito per ordinare leggermente in eccesso. Abbiamo ordinato due Snowball da 80TB ottimizzati per la migrazione dei dati e ne serviva solo uno. Quindi, con il secondo, volevamo vedere se potevamo rendere operativa un'istanza EC2 in un ambiente remoto. Anche se questa sarebbe un'opzione di configurazione semplice quando si configura lo Snowball prima della spedizione in modo che il cliente riceva un elettrodomestico con EC2 pronto per l'uso, è un po' più complicato, anche se non impossibile, riconfigurarlo sul campo dopo il fatto.

Attenzione: questo articolo approfondirà la configurazione di una VM e il suo sideload su Snowball. Se vuoi saltare a quella sezione, clicca qui.

Informazioni generali e panoramica su Amazon AWS Storage Optimized Snowball

Amazon AWS Storage Optimized Snowball è una soluzione di trasferimento dati robusta, portatile e sicura progettata per semplificare e accelerare il processo di spostamento di grandi volumi di dati da e verso il cloud AWS. Questo dispositivo appositamente progettato è progettato specificamente per casi d'uso che richiedono trasferimenti di dati ad alta velocità e storage edge a breve termine, rendendolo ideale per installazioni temporanee o luoghi con connettività di rete limitata o assente.

Dotato di funzionalità di archiviazione avanzate, crittografia e funzionalità anti-manomissione, Storage Optimized Snowball garantisce una migrazione dei dati sicura ed efficiente riducendo significativamente i costi di trasferimento dei dati rispetto ai metodi tradizionali. Sfruttando questo dispositivo innovativo, le organizzazioni possono superare le sfide della raccolta e dell'archiviazione dei dati in ambienti edge, aprendo la strada a un'integrazione e un'analisi fluida dei dati nel cloud.

Storage Optimized Snowball vanta diverse funzionalità chiave che lo rendono una potente soluzione per il trasferimento e l'archiviazione dei dati:

• Archiviazione ad alta capacità: con capacità di archiviazione fino a 80 TB, Storage Optimized Snowball può gestire facilmente attività di migrazione dei dati su larga scala, soddisfacendo vari casi d'uso e applicazioni ad alta intensità di dati.
• Trasferimento dati veloce: dotato di connessioni di rete ad alta velocità da 40 Gbps, Snowball consente trasferimenti di dati rapidi ed efficienti, riducendo il tempo necessario per la migrazione dei dati.
• Sicurezza dei dati: Snowball utilizza protocolli di crittografia standard del settore (come AES a 256 bit) per proteggere i dati sia in transito che inattivi, garantendo la riservatezza e l'integrità dei dati durante tutto il processo di migrazione.
• Design robusto: costruito per resistere ad ambienti difficili, Storage Optimized Snowball presenta un design robusto e resistente agli agenti atmosferici, che lo rende adatto all'uso in un'ampia gamma di condizioni e installazioni temporanee.
• Funzionalità di edge computing: le funzionalità di elaborazione integrate di Snowball consentono agli utenti di eseguire carichi di lavoro di edge computing ed elaborare i dati direttamente sul dispositivo, riducendo la latenza e consentendo l'analisi in tempo reale.
• Integrazione con AWS Greengrass: Snowball viene fornito preinstallato con AWS Greengrass, consentendo un'integrazione perfetta con AWS Lambda e altri servizi AWS, consentendo l'elaborazione e l'analisi dei bordi.
• Facilità di distribuzione e gestione: con la sua interfaccia intuitiva e facile da usare, Storage Optimized Snowball semplifica il processo di configurazione del dispositivo, trasferimento dei dati e monitoraggio, ottimizzando le attività di migrazione dei dati per organizzazioni di tutte le dimensioni.

Amazon AWS Storage Optimized Snowball offre notevoli vantaggi in termini di risparmio di costi ed efficienza rispetto ai tradizionali metodi di trasferimento dati. Utilizzando l'elevata capacità di archiviazione e le funzionalità di trasferimento rapido dei dati di Snowball, le organizzazioni possono ridurre drasticamente il tempo e la larghezza di banda necessari per la migrazione dei dati, con conseguenti risparmi sostanziali in termini di tempo e risorse.

Inoltre, il design robusto e le funzionalità di edge computing di Snowball eliminano la necessità di ulteriori investimenti hardware e infrastrutture in loco, riducendo ulteriormente i costi per installazioni temporanee o progetti edge. Inoltre, la perfetta integrazione con i servizi AWS consente una gestione e un'analisi semplificata dei dati, migliorando la produttività complessiva e l'efficienza operativa.

E come accennato in precedenza, abbiamo ordinato due dispositivi AWS Snowball Edge Storage Optimized, ma Amazon ha Snowball progettati per essere più pesanti in termini di calcolo e non richiederebbero il processo di sideload di cui stiamo per discutere. Avevamo semplicemente un dispositivo “extra” e volevamo vedere quanto potevamo spingerlo al di fuori della finestra di comfort progettata.

Sideload di macchine virtuali personalizzate su Snowball ottimizzato per lo storage

Ti consigliamo vivamente di leggere attentamente il blog ufficiale di Amazon su questo processo; i nostri passaggi qui si basano sulla nostra configurazione specifica e su come siamo stati in grado di eseguirla.

Quando AWS Snowball Edge è stato introdotto per la prima volta nel 2016, gli utenti che desideravano eseguire istanze Amazon Elastic Compute Cloud (Amazon EC2) sul dispositivo dovevano specificare un'Amazon Machine Image (AMI) durante il processo di ordinazione. Il dispositivo supporterà quindi l'avvio di istanze Amazon EC2 in base all'AMI selezionata. Tuttavia, l'aggiornamento di un'AMI o il passaggio a un'altra per nuovi carichi di lavoro, risoluzione di problemi o abilitazione di nuove funzionalità richiedeva la restituzione del dispositivo ad AWS per l'aggiornamento dell'AMI e quindi l'attesa della restituzione.

Da allora questo processo è stato semplificato. Alcuni dei passaggi qui riportati sono solo di riferimento e possono essere utilizzati direttamente dal pezzo su Amazon, quindi non specificheremo i dettagli ma forniremo più di una lista di controllo.

1. Crea una VM sulla tua workstation che desideri caricare su Snowball.
   1. Installa il tuo hypervisor. Abbiamo scelto di utilizzare Oracle VirtualBox come specificato da Amazon. Tuttavia, abbiamo utilizzato un host basato su Windows, che presenta alcune piccole differenze nel processo.
   2. Installa il tuo sistema operativo guest. Abbiamo scelto Ubuntu 22.04 perché era facile da ottenere e con cui lavorare. Una volta installato, suggeriamo di eseguire gli aggiornamenti e di assicurarsi che DHCP sia abilitato e di iniziare subito a testare l'accesso SSH/RDP.
      1. Tieni presente che quando selezioni la dimensione del disco, in un passaggio successivo, verrà convertito in un file disco RAW, quindi, qualunque sia il disco grande o piccolo che devi selezionare, dovrai caricare tutto lo spazio sul dispositivo Snow.
   3. Individua il file .vdi del disco virtuale sul disco rigido e copia il percorso con il nome del file.
   4. Passare alla cartella di installazione di VirtualBox; per noi era "C:\Program Files\Oracle\VirtualBox" Fare clic con il pulsante destro del mouse, "Apri la finestra di PowerShell qui" (altri comandi specifici di Windows disponibili nell'articolo di Amazon)
   5. Utilizza il percorso del file .vdi creato in precedenza e questo comando come riferimento per crearne uno tuo. (Versione Windows qui)
      1. .\VBoxManage.exe clonehd "C:\Users\Jordan\VirtualBox VMs\SnowballUbuntu\SnowballUbuntu.vdi" "C:\Users\Jordan\VirtualBox VMs\SnowballUbuntu\SnowballUbuntu.raw" --format raw
   6. Carica l'immagine .raw sul dispositivo Snow.
      
   7. Crea autorizzazioni IAM per l'importazione di immagini configurando un ruolo IAM e una policy associata per il processo di importazione/esportazione di VM.
      
      1. Crea una policy IAM che conceda le autorizzazioni necessarie affinché il servizio di importazione/esportazione VM locale possa scaricare lo snapshot da Amazon S3 sul dispositivo.
      2. Dopo aver creato la policy, crea un ruolo IAM con una policy di attendibilità, consentendo a Snowball VM Import/Export di assumere il ruolo.
      3. Collega la policy creata in precedenza al ruolo IAM, consentendo a VM Import/Export di accedere all'immagine archiviata nel bucket S3 sul dispositivo.
   8. Importa l'immagine come istantanea
      1. Torna alla pagina del dashboard Snowball e seleziona "Inizia" nel pannello "Avvia elaborazione".
      2. Scegli "Istantanee" e poi "Importa istantanea" per iniziare a importare l'immagine grezza come istantanea.
      3. Nella pagina "Importa snapshot", fornisci le descrizioni richieste e specifica il ruolo IAM creato in precedenza.
      4. Sfoglia S3 per individuare e selezionare il file di immagine raw, quindi inviare la richiesta di importazione.
      5. Il completamento dell'importazione dell'istantanea richiederà alcuni minuti, a seconda delle dimensioni dell'immagine.
      6. Al termine, lo stato visualizzerà “Completato.
   9. Registra un'AMI dallo snapshot
      1. Per registrare un'AMI dallo snapshot, seleziona l'ID dello snapshot appena creato e fai clic su "Registra immagine".
      2. Inserisci un nome e una descrizione per l'AMI, mantenendo il dispositivo del volume root come /dev/sda1, e invia.
      3. Lo snapshot verrà ora registrato come AMI, consentendoti di avviare istanze EC2 da esso.
   10. Avvia la tua istanza EC2 sul dispositivo Snow
       
       1. Per avviare un'istanza EC2 dalla tua AMI, torna alla pagina del dashboard Snowball e seleziona "Istanze".
       2. Fai clic su "Avvia istanza" e inserisci il nome della tua AMI e il tipo di istanza desiderata.
       3. Per l'assegnazione di un indirizzo IP pubblico, scegli di crearne uno nuovo (VNI), utilizzarne uno esistente o non assegnarne uno.
       4. Per quanto riguarda la coppia di chiavi, scegli di non allegare una coppia di chiavi se hai già aggiunto le chiavi pubbliche richieste all'immagine o scegli di creare/utilizzare una coppia di chiavi esistente.
       5. Fai clic su "Avvia" per inizializzare la tua istanza EC2.
       6. Una volta che l'istanza EC2 è attiva e in esecuzione, accedi allo stesso modo di qualsiasi altra istanza EC2 in AWS.

Sebbene il processo di sideload di macchine virtuali personalizzate in dispositivi come AWS Snowball Edge possa sembrare complesso e impegnativo, lo sforzo ne vale la pena grazie ai numerosi vantaggi che offre. È importante notare che, sebbene sia possibile eseguire il sideload di un'AMI dopo aver ordinato il dispositivo, optando per il dispositivo con l'AMI già caricata riceverai un'appliance preconfigurata pronta per l'uso.

L'utilizzo di macchine virtuali personalizzate per la raccolta dei dati edge offre numerosi vantaggi significativi. La personalizzazione consente alle organizzazioni di adattare le proprie macchine virtuali a casi d'uso specifici, ottimizzando prestazioni ed efficienza. Integrando applicazioni specializzate, le organizzazioni possono semplificare l'elaborazione e l'analisi dei dati direttamente all'edge, riducendo la latenza e migliorando il processo decisionale in tempo reale.

La maggiore flessibilità e adattabilità offerte da queste macchine virtuali personalizzate trasferite localmente può consentire alle organizzazioni di rispondere rapidamente alle esigenze in evoluzione o ai cambiamenti imprevisti nei requisiti di raccolta dati. Effettuando il sideload di macchine virtuali personalizzate in dispositivi edge come AWS Snowball Storage Optimized Edge, le organizzazioni possono sfruttare tutto il potenziale dell'edge computing e gestire in modo efficiente le proprie esigenze di raccolta ed elaborazione dei dati in ambienti diversi.

Implementazione della raccolta rapida dei dati sull'edge

La configurazione di uno Snowball ottimizzato per l'archiviazione per la raccolta dati implica la configurazione del dispositivo per gestire attività e requisiti specifici di raccolta dati. Sfruttando le solide funzionalità del dispositivo Snowball Edge, le organizzazioni possono raccogliere ed elaborare grandi volumi di dati in ambienti con connettività intermittente o posizioni remote.

Lo storage a blocchi del dispositivo e lo storage di oggetti compatibile con Amazon S3 consentono agli utenti di archiviare, gestire e trasferire in modo sicuro enormi quantità di dati in modo efficiente. Personalizzando Snowball Edge in base ai requisiti del progetto, le organizzazioni possono ottimizzare i processi di raccolta dati per soddisfare le proprie esigenze e obiettivi specifici.

L'integrazione di macchine virtuali personalizzate con strumenti di raccolta dati semplifica ulteriormente il processo di raccolta dati a livello periferico. Incorporando applicazioni o framework specializzati, le organizzazioni possono elaborare e analizzare i dati direttamente sul dispositivo Snowball Edge, riducendo la latenza e migliorando il processo decisionale in tempo reale.

Questa integrazione consente una collaborazione perfetta tra vari strumenti di raccolta dati e macchine virtuali personalizzate, garantendo un'elaborazione e una gestione efficienti dei dati. Inoltre, l’ottimizzazione del trasferimento e della sincronizzazione dei dati con Amazon S3 consente alle organizzazioni di beneficiare dello storage scalabile e sicuro fornito dall’infrastruttura cloud di Amazon.

Questo processo facilita il trasferimento continuo dei dati raccolti dal dispositivo Snowball Edge ad Amazon S3, garantendo che i dati siano prontamente disponibili per ulteriori analisi o archiviazione a lungo termine. A sua volta, ciò favorisce un ecosistema di gestione dei dati affidabile ed efficiente che supporta la raccolta e l’elaborazione rapida dei dati all’edge.

Vantaggio della rete da ginnastica

In molti scenari, Sneaker-net o il trasferimento fisico dei dati utilizzando dispositivi come Storage Optimized Snowball, può essere più veloce del trasferimento dei dati su Internet. Ciò è particolarmente vero per le installazioni remote o temporanee con larghezza di banda limitata, latenza elevata o connettività inaffidabile.

Gli esempi includono stazioni di ricerca in località remote, luoghi temporanei per eventi o persino siti di ripristino di emergenza. Utilizzando AWS Snowball per trasportare grandi volumi di dati, le organizzazioni possono aggirare i vincoli di connessioni Internet lente o inaffidabili e garantire che i dati vengano trasferiti in modo rapido e sicuro su Amazon S3 per ulteriori elaborazioni e analisi.

I dati archiviati in S3 beneficiano della scalabilità e della flessibilità intrinseche offerte dall'ecosistema AWS. Man mano che i volumi di dati crescono, le organizzazioni possono facilmente adattare la propria capacità di storage per soddisfare le mutevoli esigenze senza la necessità di costosi investimenti infrastrutturali.

Inoltre, S3 si integra perfettamente con un'ampia gamma di servizi AWS, come Amazon Athena, Amazon Redshift e Amazon SageMaker, consentendo alle organizzazioni di analizzare, elaborare e ricavare informazioni approfondite dai propri dati utilizzando potenti strumenti di analisi e machine learning. Questa integrazione consente infine alle organizzazioni di prendere decisioni basate sui dati e sbloccare nuove opportunità di crescita e innovazione.

Pensieri di chiusura

Amazon AWS Storage Optimized Snowball, se combinato con macchine virtuali personalizzate, offre una soluzione potente ed economica per la raccolta rapida dei dati all'edge. Le installazioni temporanee possono ora raccogliere e archiviare in modo efficiente grandi volumi di dati, beneficiando al tempo stesso della sicurezza, della scalabilità e della facilità di integrazione offerte da S3. Adottando questo approccio innovativo, le organizzazioni possono ridurre significativamente i costi dell'hardware, semplificare la gestione dei dati e ricavare nuove informazioni dai propri dati.

Sebbene il nostro approccio a questo processo fosse un po' arretrato, idealmente avresti configurato le istanze EC2 al momento dell'ordine per semplificarti la vita, è bello sapere che AWS consente "flessibilità creativa" con i suoi dispositivi Snowball. In realtà, però, se il carico di lavoro è ad alta intensità di calcolo, AWS offre Snowball Edge Compute Optimized con un massimo di 104 vCPU, 416 GB di DRAM e 28 TB di flash. E se hai esigenze di analisi, offrono anche Snowball con GPU. Per la raccolta dei dati edge, AWS offre tantissime opzioni e parte del divertimento è scoprire quale dispositivo Snow potrebbe essere adatto a te.

Podcast sulla neve di AWS con StorageReview e Wayne Duso

Interagisci con StorageReview

Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed