Cloudian's HyperStore est une plate-forme de stockage définie par logiciel basée sur la prise en charge native de l'API Amazon S3, avec des intégrations avec plusieurs autres API de stockage en nuage. Cloudian propose HyperStore sous la forme d'appareils de stockage et d'une solution logicielle d'environnement d'exploitation HyperStore pour le matériel de base. Les intégrations cloud étroites d'HyperStore soulignent la hiérarchisation, la sauvegarde, la réplication, le stockage à froid et d'autres fonctionnalités de la plate-forme. Cela permet également à Cloudian de prendre en charge une variété d'options de déploiement qui peuvent tirer parti d'une combinaison de stockage local, distant et cloud.
Cloudian's HyperStore est une plate-forme de stockage définie par logiciel basée sur la prise en charge native de l'API Amazon S3, avec des intégrations avec plusieurs autres API de stockage en nuage. Cloudian propose HyperStore sous la forme d'appareils de stockage et d'une solution logicielle d'environnement d'exploitation HyperStore pour le matériel de base. Les intégrations cloud étroites d'HyperStore soulignent la hiérarchisation, la sauvegarde, la réplication, le stockage à froid et d'autres fonctionnalités de la plate-forme. Cela permet également à Cloudian de prendre en charge une variété d'options de déploiement qui peuvent tirer parti d'une combinaison de stockage local, distant et cloud.
L'architecture scale-out HyperStore distribue toutes les données, métadonnées, configurations et opérations sur le cluster et prend en charge le déploiement sur plusieurs centres de données. HyperStore exploite la fonctionnalité de streaming d'objets et de hiérarchisation automatique dynamique pour déplacer les données entre le cloud sur site et les services de stockage cloud distants à des échelles allant jusqu'à des milliers de serveurs et des centaines de pétaoctets de données dans plusieurs centres de données.
HyperStore implémente les 51 opérations requises pour répondre à la norme de compatibilité Amazon S3 "avancée", qui permet aux développeurs et aux administrateurs de déployer un stockage qui fonctionne nativement avec le SDK Amazon S3. HyperStore a également été développé à partir de zéro avec la prise en charge des déploiements multi-locataires et les fonctionnalités de qualité de service, de facturation et de création de rapports requises pour que les revendeurs et les fournisseurs de services puissent mettre la plate-forme dans des environnements de fournisseurs de services gérés. Les utilisateurs peuvent également exécuter des analyses Hadoop directement sur les logiciels et appliances HyperStore.
L'un des cas d'utilisation du déploiement d'HyperStore consiste à tirer parti de la fonctionnalité de sauvegarde de CloudBerry. CloudBerry Managed Backup peut être exécuté à partir de serveurs Amazon EC2 avec l'intégration du stockage HyperStore avec Amazon S3, Amazon Glacier, Google Nearline, Windows Azure, OpenStack et d'autres fournisseurs de stockage cloud. Les fournisseurs de services utilisant HyperStore avec la solution de sauvegarde gérée de CloudBerry peuvent également fournir un accès Web aux utilisateurs ou aux clients pour les données stockées dans l'instance HyperStore.
Cloudian vient de publier Hyperstore Connect for Files. Cette nouvelle fonctionnalité permet une prise en charge native de SMB, NFS et FTP. Cette prise en charge signifie que le stockage basé sur des fichiers est désormais plug-and-play avec Cloudian HyperStore. Hyperstore Connect for Files s'exécute au-dessus d'un seul déploiement global de stockage d'objets HyperStore, ce qui réduit les coûts et la complexité de la gestion et comporte deux modules : Access Point est conçu pour être sans état et agit comme un serveur auquel les clients se connectent afin de traduire les fichiers en objets ; et Global View Manager fournit un espace de noms global et un verrouillage global des fichiers pour une collaboration distribuée entre les sites.
Afin de préparer ce tour d'horizon de la plateforme HyperStore, nous avons travaillé avec HyperStore sous sa forme d'appliance logicielle en plus d'une petite configuration DIY dans notre labo. L'appliance logicielle peut être utilisée pour établir une instance HyperStore une fois qu'elle est déployée sur un minimum de trois nœuds de serveur RedHat ou CentOS. Les offres matérielles Cloudian actuelles incluent les appliances en rack HyperStore FL3000 dotées de huit nœuds de stockage en 3U. Chaque unité d'extension 4U peut être déployée avec jusqu'à 480 To. Prix catalogue Cloudian pour un déploiement d'appliance HyperStore 12U, 576 To avec cinq ans de support à 324,000 XNUMX $.
Spécifications et options matérielles Cloudian HyperStore
- Châssis µNode HyperStore FL3000
- Fonction : service de données
- Facteur de forme : 3U
- Disques : 16 x SSD (2 par µnœud)
- Modules : 8xµNode
- Connectivité : 16x10G SFP+, 8x1Gbe IPMI
- Dimensions (LxlxH) : 589 mm x 438.4 mm x 132.5 mm 23.2" x 17.26" x 45.21"
- Poids : 88 lb (39.92 kg)
- Taille du disque : SSD MLC de 480 Go
- Alimentation : (2) Sortie 1620W @ 180-240V 10.5-8A, 50-60Hz
- Refroidissement : 4x 8cm 11K RPM, ventilateurs de refroidissement PWM 4 broches
- RohS : Conforme
- Zones de disque : 1 zone par nœud
- Étagère d'extension HyperStore
- Fonction : Stockage de données
- Facteur de forme : 4U
- Disques : 60xHDD
- Modules : (2) modules d'interface SAS remplaçables à chaud (SIM) et (4) modules d'interface SAS internes remplaçables à chaud (ISIM)
- Connectivité : 2 ports mini-SAS 4 Gb/s à 6 ports
- Dimensions (LxlxH) : 1103.1 mm x 447 mm x 175.3 mm 43.43" x 17.60" x 6.90"
- Poids : 187.39 livres (85 kg) avec disques durs
- Taille du disque : 2, 4, 6, 8 To SATA 7200 tr/min
- Alimentation : (2) blocs d'alimentation redondants à haut rendement de 1400 200 W 240-50 VAC, 60/XNUMX Hz
- Refroidissement : (7+1) rotors modules de ventilation redondants par système
- RohS : Conforme
- Zones de disque : 2 ou 4 zones par étagère
- HyperStore FL3020 µNoeud
- Disques de données par nœud : 15
- Types de disques pris en charge : 2, 4, 5, 6 To
- Capacité maximale/nœud : 30 To, 60 To, 75 To, 90 To
- Type de processeur : Intel E5-2640 V2.2 GHz, 8 cœurs
- Mémoire: 64GB
- Connectivité : 2x10Gbe SFP+Port, 1x1Gbe IPMI LAN Port
- Disques du système d'exploitation Hyperstore : 2 disques SSD de 480 Go
- Connectivité disque : 2 ports SAS 6 bits/s
- KVM : ports 1xVGA, 1xCOM et 2xUSB 2.0 (avec dongle KVM)
- Commutateur : Alimentation
- HyperStore FL3050 µNoeud
- Disques de données par nœud : 30
- Types de disques pris en charge : 2, 4, 5, 6 To
- Capacité maximale/nœud : 60 To, 120 To, 150 To, 180 To
- Type de processeur : Intel E5-2640 V2.2 GHz, 8 cœurs
- Mémoire: 128GB
- Connectivité : 2 ports SFP+ 10 Gbe, 1 port LAN IPMI 1 Gbe
- Disques du système d'exploitation Hyperstore : 2 disques SSD de 480 Go
- Connectivité disque : 2 ports SAS 6 bits/s
- KVM : ports 1xVGA, 1xCOM et 2xUSB 2.0 (avec dongle KVM)
- Commutateur : Alimentation
Système d'exploitation et environnement
HyperStore utilise l'administration Web pour la surveillance des systèmes et des clusters et la gestion des données, ainsi que pour fournir des interfaces de gestion pour les utilisateurs, les groupes, les plans de tarification, les contrôles de qualité de service et la facturation. Des options d'API REST-ful sont disponibles pour l'intégration avec d'autres systèmes de provisionnement, d'authentification et de facturation.
Le système de gestion des accès d'HyperStore fournit des flux de travail d'identité et de sécurité pour les utilisateurs et les administrateurs, y compris la gestion des politiques de facturation et de rétrofacturation pour les fournisseurs de services. Plusieurs informations d'identification par utilisateur sont prises en charge, ainsi que des quotas QoS configurables basés sur les groupes et les utilisateurs pour le stockage et la bande passante dans les clouds multi-locataires.
Les déploiements HyperStore utilisent jusqu'à trois systèmes de fichiers distribués : le système de fichiers Cassandra (CASSANRDA), le système de fichiers HyperStore (HFS) et le code d'effacement (EC). CASSANDRA est utilisé pour les index de métadonnées et également pour optimiser le stockage de petits fichiers. Le système de fichiers HyperStore est la couche de stockage des données. Il peut utiliser soit la réplication, soit le codage d'effacement (EC) pour stocker des objets. Vous pouvez choisir la méthode de stockage pour différents pools de stockage (appelés Buckets). Avec EC, il offre une durabilité et une disponibilité élevées des données avec une surcharge d'espace minimale (jusqu'à 20 % de surcharge dans certains déploiements). Le compromis est qu'il y aura une latence plus élevée pour accéder aux objets et nécessitera plus de traitement. Pour les charges de travail de sauvegarde et d'archivage volumineuses, le codage d'effacement est couramment utilisé. La réplication est utilisée lorsque les utilisateurs ont besoin d'un accès plus rapide et également pour la réplication entre régions. La transition automatique basée sur la planification (terme de Cloudian pour la hiérarchisation automatique) est disponible du stockage HyperStore vers le stockage Amazon S3, le stockage Amazon Glacier, un déploiement HyperStore distant ou un service HyperStore tiers.
Le chiffrement côté serveur HyperStore AES-256 protège les données au repos avec un chiffrement SSL pour les données en transit via HTTPS. Le système de fichiers HyperStore intègre également trois schémas de compression facultatifs : snappy, lz4 et zlib. Snappy met l'accent sur la vitesse plutôt que sur la compression, avec un débit de compression nominal de 250 Mo/sec ou plus et un taux de décompression de 500 Mo/sec ou plus. lz4 présente un taux de compression inférieur à zlib avec une vitesse de compression nominale de 400 Mo/s par cœur. zlib offre un taux de compression moyen et une vitesse avec un taux de décompression élevé.
En plus de la fonctionnalité intégrée d'HyperStore, les utilisateurs d'HyperStore peuvent tirer parti de plusieurs applications disponibles auprès des CloudBerry Labs de Cloudian. Les plus remarquables de ces offres sont les membres de la famille CloudBerry Backup, mais Cloudian propose également des applications pour une gestion simplifiée des fichiers basée sur le cloud, le montage du stockage cloud en tant que lecteurs réseau et CloudBerry Box, un outil bidirectionnel de type Dropbox pour synchroniser les données. sur des ordinateurs distants via un compte de stockage cloud.
CloudBerry Backup comprend des sauvegardes planifiées et en temps réel, le chiffrement et la compression, la limitation de la bande passante et la sauvegarde au niveau des blocs, ainsi que la sauvegarde pour le serveur MS SQL, MS Exchange, VMware et Hyper-V. Une édition pour les fournisseurs de services gérés peut surveiller l'historique de sauvegarde des utilisateurs à partir d'un panneau de configuration de sauvegarde gérée et peut créer des comptes sous-administrateurs avec des autorisations limitées.
Direction
Connecté en tant qu'administrateur, l'écran principal de l'interface graphique nous donne la région en haut. Sous la région se trouve la capacité gérée, le bleu étant la quantité utilisée et le vert étant la quantité libre. Directement sous la capacité gérée se trouve la santé du cluster (comme on peut le voir, des alertes sont actuellement actives). À droite de ceux-ci se trouvent les transactions par seconde et le débit mesuré en Ko/s (dans les deux graphiques, les PUT sont bleus tandis que les GET sont verts). En bas de l'écran se trouve le nombre d'utilisateurs, de groupes, d'objets, de nœuds et de centres de données gérés avec la version du logiciel.
En haut de l'écran se trouvent des onglets tels que l'écran principal, les analyses, les compartiments et les objets, les utilisateurs et les groupes, le cluster, les alertes, les paramètres et l'aide. Pour configurer des utilisateurs et des groupes, les administrateurs doivent cliquer sur l'onglet Utilisateurs et groupes. Grâce à cet onglet, un nouveau groupe peut être ajouté ainsi qu'une QoS spécifique pour chaque groupe.
Les administrateurs peuvent également créer des plans de notation dans cet onglet. Les plans de tarification sont créés à des fins de rapports de facturation. Les administrateurs peuvent également vérifier l'activité du compte pour un groupe ou un utilisateur défini.
Grâce à l'onglet d'analyse, les administrateurs peuvent examiner l'utilisation du cluster en examinant des éléments tels que la consommation de capacité de la région au fil du temps en Go, les transactions d'objet par seconde et le débit en Ko/s. L'explorateur de capacité affiche l'utilisation de la capacité via une représentation graphique. Encore une fois pour des raisons de facturation, les administrateurs peuvent vérifier l'utilisation par utilisateur. Et ils peuvent rechercher des objets spécifiques.
Grâce à l'onglet Buckets & Objects, les administrateurs peuvent télécharger, créer ou rechercher des buckets et des objets. Les godets disponibles sont répertoriés sur le côté gauche. Sous la recherche se trouve la liste des objets, leur taille et la date de leur dernière modification.
L'onglet Cluster donne aux administrateurs plusieurs regards différents sur leur cluster. Dans l'onglet se trouvent plusieurs sous-onglets pour les centres de données, qui affichent le cluster par région et montrent la santé du cluster - le vert étant clair, l'orange signifiant une alerte (illustré sous chaque hexagone représentant un nœud dans le cluster).
Il existe un onglet État des nœuds qui affiche l'état général, indiquant des aspects tels que le pourcentage d'espace disque utilisé, le pourcentage d'utilisation du processeur, des informations détaillées sur les disques utilisés, des informations sur l'utilisation de la mémoire, ainsi que l'état du service et des listes d'événements. .
L'onglet Node Activity donne aux administrateurs une représentation graphique d'un aspect opérationnel particulier du nœud. Les utilisateurs disposent de plusieurs options, notamment l'utilisation du processeur (illustrée ci-dessous), le disque disponible, les lectures de disque, les écritures de disque, le débit réseau (sortant), le débit réseau (entrant), les transactions (Get), les transactions (Put, le débit de requête (Get), le débit de requête. (Put), Latence moyenne des requêtes (Get), Latence moyenne des requêtes (Put), Utilisation du tas de mémoire administrateur, Utilisation du tas de mémoire Cassandra, Utilisation du tas de mémoire HyperStore et Utilisation du tas de mémoire S3.
Les paramètres avancés permettent la maintenance, la désactivation des disques, la possibilité de collecter des diagnostics et de désinstaller un nœud.
L'onglet Cluster Config permet aux administrateurs d'afficher les informations de leur cluster ainsi que de mettre à jour leur licence, d'afficher et de modifier leurs paramètres de configuration de cluster et de configurer la temporisation automatique. Pour la hiérarchisation automatique, les clients doivent avoir un seul compte Amazon.
L'onglet Stratégie de stockage permet aux administrateurs de configurer la stratégie, y compris EC2+1. Cet onglet a une distribution de données pointer-cliquer et un écran déroulant pour sélectionner la valeur K+M de codage d'effacement. Après les avoir sélectionnés, les administrateurs peuvent attribuer le centre de données par région et le centre de données dans chaque région. Une fois les centres de données attribués, les utilisateurs peuvent définir les niveaux de cohérence des données et des métadonnées ainsi que la visibilité du groupe.
Les règles de notification permettent d'envoyer un e-mail à une adresse spécifique pour des éléments spécifiques avec le nœud. Les administrateurs doivent ajouter l'adresse e-mail sur laquelle ils souhaitent recevoir la notification, puis sélectionner l'élément pour lequel ils souhaitent être informés via les règles données. Par exemple, s'ils souhaitent être avertis si le cluster utilise plus de 90 % d'utilisation du processeur, ils peuvent le configurer via cet onglet.
Le dernier sous-onglet de l'onglet du cluster affiche l'état de la réparation et l'historique des réparations.
L'onglet Alertes indique quand il y a eu un problème ou un changement dans le système. Les alertes peuvent être triées par nœud ou région et effacées en les accusant réception.
Conclusion
HyperStore est une plate-forme de stockage qui illustre les opportunités rendues possibles et la convergence d'un stockage cloud largement disponible et d'API ouvertes. L'appliance logicielle HyperStore permet aux administrateurs de déployer un cloud de stockage d'objets S3 entièrement conforme sur le matériel de serveur de base, avec la possibilité d'évoluer de manière transparente avec l'ajout de nouveau matériel de base ou d'appliances matérielles HyperStore spécialement conçues.
En construisant HyperStore à partir de zéro pour l'interopérabilité avec d'autres plates-formes cloud Amazon S3, Cloudian peut offrir aux clients des solutions qui tirent le meilleur parti des fournisseurs de cloud tiers pour la hiérarchisation, la sauvegarde, la réplication et d'autres fonctions sans avoir à gérer deux environnements de stockage différents avec différents architectures ou paradigmes de gestion. Cela signifie également que les administrateurs et les utilisateurs d'HyperStore peuvent utiliser la prise en charge native d'HyperStore pour l'écosystème bien établi d'applications S3.
En résumé
HyperStore apporte la puissance et la flexibilité du stockage cloud S3 sur site au matériel de base ainsi que des intégrations d'API pour tirer le meilleur parti du stockage cloud hors site d'Amazon, Google, Microsoft et autres.
Environnement d'exploitation Cloudian HyperStore
Appliances matérielles Cloudian HyperStore
Inscrivez-vous à la newsletter StorageReview
