HyperStore di Cloudian è una piattaforma di archiviazione definita dal software basata sul supporto nativo per l'API Amazon S3, con integrazioni con diverse altre API di archiviazione cloud. Cloudian offre HyperStore sotto forma di dispositivi di archiviazione e una soluzione software per l'ambiente operativo HyperStore per l'hardware di base. Le strette integrazioni cloud di HyperStore sottolineano il tiering, il backup, la replica, il cold storage e altre funzionalità della piattaforma. Ciò consente inoltre a Cloudian di supportare una varietà di opzioni di distribuzione che possono trarre vantaggio da una combinazione di archiviazione locale, remota e cloud.
HyperStore di Cloudian è una piattaforma di archiviazione definita dal software basata sul supporto nativo per l'API Amazon S3, con integrazioni con diverse altre API di archiviazione cloud. Cloudian offre HyperStore sotto forma di dispositivi di archiviazione e una soluzione software per l'ambiente operativo HyperStore per l'hardware di base. Le strette integrazioni cloud di HyperStore sottolineano il tiering, il backup, la replica, il cold storage e altre funzionalità della piattaforma. Ciò consente inoltre a Cloudian di supportare una varietà di opzioni di distribuzione che possono trarre vantaggio da una combinazione di archiviazione locale, remota e cloud.
L'architettura scalabile di HyperStore distribuisce tutti i dati, i metadati, le configurazioni e le operazioni nel cluster e supporta la distribuzione su più data center. HyperStore sfrutta lo streaming di oggetti e la funzionalità di tiering automatico dinamico per spostare i dati tra il cloud locale e i servizi di archiviazione cloud remoti su scala fino a migliaia di server e centinaia di petabyte di dati in più data center.
HyperStore implementa le 51 operazioni necessarie per soddisfare lo standard di compatibilità "avanzata" di Amazon S3, che consente a sviluppatori e amministratori di distribuire storage che funziona in modo nativo con l'SDK Amazon S3. HyperStore è stato inoltre sviluppato da zero con il supporto per implementazioni multi-tenant e le necessarie funzionalità di QoS, fatturazione e reporting necessarie affinché rivenditori e fornitori di servizi possano inserire la piattaforma in ambienti di fornitori di servizi gestiti. Gli utenti possono eseguire l'analisi Hadoop direttamente anche sul software e sugli apparecchi HyperStore.
Uno dei casi d'uso per l'implementazione di HyperStore è sfruttare la funzionalità di backup di CloudBerry. CloudBerry Managed Backup può essere eseguito da server Amazon EC2 con integrazione dello storage HyperStore con Amazon S3, Amazon Glacier, Google Nearline, Windows Azure, OpenStack e altri provider di storage cloud. I fornitori di servizi che utilizzano HyperStore con la soluzione Managed Backup di CloudBerry possono anche fornire accesso Web a utenti o clienti per i dati archiviati nell'istanza HyperStore.
Cloudian ha appena rilasciato Hyperstore Connect for Files. Questa nuova funzionalità abilita il supporto nativo per SMB, NFS e FTP. Questo supporto significa che l'archiviazione basata su file è ora plug-and-play con Cloudian HyperStore. Hyperstore Connect for Files viene eseguito su una singola distribuzione globale di storage di oggetti HyperStore riducendo i costi e la complessità di gestione e dispone di due moduli: Access Point è progettato per essere senza stato e funge da server a cui i client si connettono per tradurre i file in oggetti; e Global View Manager offre uno spazio dei nomi globale e un blocco globale dei file per la collaborazione distribuita tra sedi.
Per preparare questa panoramica della piattaforma HyperStore, abbiamo lavorato con HyperStore nella sua forma di applicazione software oltre a una piccola configurazione fai-da-te nel nostro laboratorio. L'appliance software può essere utilizzata per stabilire un'istanza HyperStore una volta distribuita su un minimo di tre nodi server RedHat o CentOS. Le attuali offerte hardware di Cloudian includono le apparecchiature rack HyperStore FL3000 dotate di otto nodi di storage in 3U. Ciascuna unità di espansione 4U può essere distribuita con un massimo di 480 TB. Prezzo di listino Cloudian per una distribuzione di dispositivi HyperStore da 12U e 576 TB con cinque anni di supporto a $ 324,000.
Specifiche e opzioni hardware di Cloudian HyperStore
- Telaio µNode HyperStore FL3000
- Funzione: servizio dati
- Fattore di forma: 3U
- Unità: 16 SSD (2 per µNode)
- Moduli: 8xμNodi
- Connettività: 16 SFP+ da 10 G, 8 IPMI da 1 Gbe
- Dimensioni (LxLxA): 589 mm x 438.4 mm x 132.5 mm 23.2” x 17.26” x 45.21”
- Peso: 88 libbre (39.92 kg)
- Dimensioni unità: SSD MLC da 480 GB
- Alimentazione: (2) uscita da 1620 W a 180-240 V 10.5-8 A, 50-60 Hz
- Raffreddamento: 4 ventole di raffreddamento PWM a 8 pin da 11 cm e 4 giri/min
- A norma RoHS
- Zone del disco: 1 zona per nodo
- Scaffale di espansione HyperStore
- Funzione: archiviazione dei dati
- Fattore di forma: 4U
- Unità: 60xHDD
- Moduli: (2) moduli di interfaccia SAS sostituibili a caldo (SIM) e (4) moduli di interfaccia SAS interni sostituibili a caldo (ISIM)
- Connettività: 2 porte mini-SAS da 4 Gb/s a 6 porte
- Dimensioni (LxLxA): 1103.1 mm x 447 mm x 175.3 mm 43.43” x 17.60” x 6.90”
- Peso: 187.39 kg (85 libbre) con HDD
- Dimensioni unità: SATA 2 giri/min da 4, 6, 8, 7200 TB
- Alimentazione: (2) PSU ridondanti ad alta efficienza da 1400 W 200-240 V CA, 50/60 Hz
- Raffreddamento: (7+1) moduli ventola ridondanti con rotori per sistema
- A norma RoHS
- Zone disco: 2 o 4 zone per ripiano
- HyperStore FL3020 µNodo
- Dischi dati per nodo: 15
- Tipi di unità supportate: 2, 4, 5, 6 TB
- Capacità massima/nodo: 30TB, 60TB, 75TB, 90TB
- Tipo di CPU: Intel E5-2640 V2.2GHz, 8 core
- Memoria: 64GB
- Connettività: 2 porte SFP+ da 10 Gbe, 1 porta LAN IPMI da 1 Gbe
- Dischi del sistema operativo Hyperstore: 2 SSD da 480 GB
- Connettività disco: porte SAS 2x6bps
- KVM: porte 1xVGA, 1xCOM e 2xUSB 2.0 (con dongle KVM)
- Interruttore: alimentazione
- HyperStore FL3050 µNodo
- Dischi dati per nodo: 30
- Tipi di unità supportate: 2, 4, 5, 6 TB
- Capacità massima/nodo: 60TB, 120TB, 150TB, 180TB
- Tipo di CPU: Intel E5-2640 V2.2GHz, 8 core
- Memoria: 128GB
- Connettività: 2 porte SFP+ da 10 Gbe, 1 porta Lan IPMI da 1 Gbe
- Dischi del sistema operativo Hyperstore: 2 SSD da 480 GB
- Connettività disco: porte SAS 2x6bps
- KVM: porte 1xVGA, 1xCOM e 2xUSB 2.0 (con dongle KVM)
- Interruttore: alimentazione
Sistema operativo e ambiente
HyperStore si avvale dell'amministrazione basata sul Web per il monitoraggio del sistema e del cluster e la gestione dei dati, nonché per fornire interfacce di gestione per utenti, gruppi, piani di classificazione, controlli della qualità del servizio e fatturazione. Sono disponibili opzioni API REST-ful per l'integrazione con altri sistemi di provisioning, autenticazione e fatturazione.
Il sistema di gestione degli accessi di HyperStore fornisce flussi di lavoro di identità e sicurezza per utenti e amministratori, inclusa la gestione delle politiche di fatturazione e riaddebito per i fornitori di servizi. Sono supportate credenziali multiple per utente insieme a quote QoS configurabili basate su gruppi e utenti per l'archiviazione e la larghezza di banda nei cloud multi-tenant.
Le distribuzioni di HyperStore utilizzano fino a tre file system distribuiti: Cassandra Files System (CASSANRDA), HyperStore File System (HFS) ed Erasure Code (EC). CASSANDRA viene utilizzato per gli indici di metadati e anche per ottimizzare l'archiviazione di piccoli file. Il file system HyperStore è il livello di archiviazione dei dati. Può utilizzare la codifica di replica o di cancellazione (EC) per archiviare oggetti. Puoi scegliere quale metodo di archiviazione per diversi pool di archiviazione (chiamati Bucket). Con EC garantisce elevata durabilità e disponibilità dei dati con un sovraccarico di spazio minimo (fino al 20% di sovraccarico in alcune implementazioni). Il compromesso è che ci sarà una latenza più elevata per accedere agli oggetti e richiedere più elaborazione. Per carichi di lavoro di backup e archiviazione di grandi dimensioni, viene comunemente utilizzata la codifica di cancellazione. La replica viene utilizzata quando le persone richiedono un accesso più rapido e anche per la replica tra regioni. La transizione automatica basata su pianificazione (termine di Cloudian per tiering automatico) è disponibile dallo storage HyperStore allo storage Amazon S3, allo storage Amazon Glacier, a una distribuzione HyperStore remota o a un servizio HyperStore di terze parti.
La crittografia lato server HyperStore AES-256 protegge i dati inattivi con la crittografia SSL per i dati in transito tramite HTTPS. Il file system HyperStore incorpora anche tre schemi di compressione opzionali: snappy, lz4 e zlib. Snappy enfatizza la velocità rispetto alla compressione, con un throughput di compressione nominale di 250 MB/sec o più e una velocità di decompressione di 500 MB/sec o più. lz4 presenta un rapporto di compressione inferiore rispetto a zlib con una velocità di compressione nominale di 400 MB/s per core. zlib offre un rapporto di compressione e una velocità medi con un tasso di decompressione elevato.
Oltre alle funzionalità integrate di HyperStore, gli utenti di HyperStore possono sfruttare diverse applicazioni disponibili nei CloudBerry Labs di Cloudian. Le più notevoli di queste offerte sono i membri della famiglia CloudBerry Backup, ma Cloudian offre anche applicazioni per la gestione semplificata dei file basata su cloud, montando l'archiviazione cloud come unità di rete e CloudBerry Box, uno strumento bidirezionale simile a Dropbox per sincronizzare i dati. su computer remoti tramite un account di archiviazione cloud.
CloudBerry Backup include backup pianificati e in tempo reale, crittografia e compressione, limitazione della larghezza di banda e backup a livello di blocco, nonché backup per server MS SQL, MS Exchange, VMware e Hyper-V. Una versione per fornitori di servizi gestiti può monitorare la cronologia dei backup degli utenti da un pannello di controllo di backup gestito e può creare account sub-amministratore con autorizzazioni limitate.
Management
Dopo aver effettuato l'accesso come amministratore, la schermata principale della GUI ci mostra la regione in alto. Sotto la regione la capacità gestita è blu per la quantità utilizzata e verde per quella gratuita. Direttamente sotto la capacità gestita c'è l'integrità del cluster (come si può vedere ci sono avvisi attualmente attivi). A destra di questi ci sono le transazioni al secondo e il throughput misurato in KB/s (in entrambi i grafici i PUT sono blu mentre i GET sono verdi). Nella parte inferiore dello schermo è presente il numero di utenti, gruppi, oggetti, nodi e data center gestiti insieme alla versione del software.
Nella parte superiore dello schermo sono presenti schede come schermata principale, analisi, bucket e oggetti, utenti e gruppi, cluster, avvisi, impostazioni e guida. Per configurare utenti e gruppi, gli amministratori devono fare clic sulla scheda Utenti e gruppi. Attraverso questa scheda è possibile aggiungere un nuovo gruppo e una QoS specifica per ciascun gruppo.
Gli amministratori possono anche creare piani di valutazione all'interno di questa scheda. I piani di valutazione vengono creati ai fini dei report di fatturazione. Gli amministratori possono anche verificare l'attività dell'account per un determinato gruppo o utente.
Attraverso la scheda Analisi, gli amministratori possono esaminare l'utilizzo del cluster esaminando aspetti quali il consumo di capacità della regione nel tempo in GB, le transazioni di oggetti al secondo e il throughput in KB/s. L'esplorazione della capacità mostra l'utilizzo della capacità attraverso una rappresentazione grafica. Sempre per motivi di fatturazione, gli amministratori possono verificare l'utilizzo da parte dell'utente. E possono cercare oggetti specifici.
Attraverso la scheda Bucket e oggetti, gli amministratori possono caricare, creare o cercare bucket e oggetti. I bucket disponibili sono elencati sul lato sinistro. Sotto la ricerca c'è l'elenco degli oggetti, la loro dimensione e quando sono stati modificati l'ultima volta.
La scheda Cluster offre agli amministratori diversi aspetti del proprio cluster. All'interno della scheda sono presenti diverse sottoschede per Data Center, che mostrano cluster per regione e mostrano lo stato del cluster: il verde indica il chiaro, l'ambra indica un avviso (nella foto sotto ogni esagono rappresenta un nodo all'interno del cluster).
È presente una scheda Stato dei nodi che mostra lo stato generale, indicando aspetti come la percentuale di spazio su disco utilizzata, la percentuale di utilizzo della CPU, informazioni dettagliate sui dischi utilizzati, informazioni sull'utilizzo della memoria, nonché stato del servizio ed elenchi di eventi .
La scheda Attività del nodo fornisce agli amministratori una rappresentazione grafica di un particolare aspetto operativo del nodo. Gli utenti hanno diverse opzioni tra cui utilizzo della CPU (nella foto sotto), disco disponibile, letture disco, scritture disco, throughput di rete (in uscita), throughput di rete (in entrata), transazioni (get), transazioni (put, throughput della richiesta (get), throughput della richiesta (Put), latenza media delle richieste (Get), latenza media delle richieste (Put), utilizzo dell'heap della memoria di amministrazione, utilizzo dell'heap della memoria Cassandra, utilizzo dell'heap della memoria HyperStore e utilizzo dell'heap della memoria S3.
Le impostazioni avanzate consentono la manutenzione, la disabilitazione dei dischi, la possibilità di raccogliere dati diagnostici e disinstallare un nodo.
La scheda Configurazione cluster consente agli amministratori di visualizzare le informazioni sul cluster, aggiornare la licenza, visualizzare e modificare le impostazioni di configurazione del cluster e impostare la distribuzione automatica. Per la suddivisione automatica, i clienti dovrebbero avere un unico account Amazon.
La scheda Storage Policy consente agli amministratori di impostare la policy incluso EC2+1. Questa scheda presenta una distribuzione dei dati "punta e clicca" e una schermata a discesa per selezionare il valore K+M della codifica di cancellazione. Dopo averli selezionati, gli amministratori possono assegnare il data center per regione e il data center all'interno di ciascuna regione. Una volta assegnati i data center, gli utenti possono impostare i livelli di coerenza dei dati e dei metadati, nonché la visibilità del gruppo.
Le regole di notifica consentono di inviare un'e-mail a un indirizzo specifico per elementi specifici nel nodo. Gli amministratori devono aggiungere l'indirizzo e-mail su cui desiderano ricevere la notifica e quindi selezionare l'elemento su cui desiderano ricevere la notifica attraverso le regole fornite. Ad esempio, se desiderano essere avvisati se il cluster utilizza oltre il 90% di utilizzo della CPU, possono configurarlo tramite questa scheda.
La sottoscheda finale all'interno della scheda del cluster mostra lo stato e la cronologia delle riparazioni.
La scheda Avvisi indica quando si è verificato un problema o una modifica all'interno del sistema. Gli avvisi possono essere ordinati per nodo o regione e cancellati riconoscendoli.
Conclusione
HyperStore è una piattaforma di storage che esemplifica le opportunità rese possibili e la convergenza tra storage cloud ampiamente disponibile e API aperte. L'appliance software HyperStore consente agli amministratori di implementare un cloud di object storage S3 completamente compatibile su hardware server di base, con la possibilità di scalare senza problemi con l'aggiunta di nuovo hardware di base o di appliance hardware HyperStore appositamente realizzate.
Costruendo HyperStore da zero per l'interoperabilità con altre piattaforme cloud Amazon S3, Cloudian può offrire ai clienti soluzioni che sfruttano al meglio i fornitori cloud di terze parti per tiering, backup, replica e altre funzioni senza dover gestire due diversi ambienti di storage con differenti architetture o paradigmi di gestione. Ciò significa anche che gli amministratori e gli utenti di HyperStore possono avvalersi del supporto nativo di HyperStore per l'ecosistema consolidato di applicazioni S3.
Conclusione
HyperStore porta la potenza e la flessibilità dello storage cloud S3 on-premise all'hardware di base insieme alle integrazioni API per sfruttare al meglio lo storage cloud offsite di Amazon, Google, Microsoft e altri.
Ambiente operativo Cloudian HyperStore
Apparecchi hardware Cloudian HyperStore
Iscriviti alla newsletter di StorageReview
