HyperStore de Cloudian es una plataforma de almacenamiento definida por software basada en soporte nativo para la API de Amazon S3, con integraciones con varias otras API de almacenamiento en la nube. Cloudian ofrece HyperStore en forma de dispositivos de almacenamiento y una solución de software de entorno operativo HyperStore para hardware básico. Las estrechas integraciones en la nube de HyperStore subrayan la organización en niveles, la copia de seguridad, la replicación, el almacenamiento en frío y otras funciones de la plataforma. Esto también permite que Cloudian admita una variedad de opciones de implementación que pueden aprovechar una combinación de almacenamiento local, remoto y en la nube.
HyperStore de Cloudian es una plataforma de almacenamiento definida por software basada en soporte nativo para la API de Amazon S3, con integraciones con varias otras API de almacenamiento en la nube. Cloudian ofrece HyperStore en forma de dispositivos de almacenamiento y una solución de software de entorno operativo HyperStore para hardware básico. Las estrechas integraciones en la nube de HyperStore subrayan la organización en niveles, la copia de seguridad, la replicación, el almacenamiento en frío y otras funciones de la plataforma. Esto también permite que Cloudian admita una variedad de opciones de implementación que pueden aprovechar una combinación de almacenamiento local, remoto y en la nube.
La arquitectura de escalabilidad horizontal de HyperStore distribuye todos los datos, metadatos, configuraciones y operaciones en el clúster y admite la implementación en varios centros de datos. HyperStore aprovecha la transmisión de objetos y la funcionalidad dinámica de organización automática en niveles para mover datos entre la nube local y los servicios de almacenamiento remoto en la nube a escalas hasta miles de servidores y cientos de petabytes de datos en múltiples centros de datos.
HyperStore implementa las 51 operaciones necesarias para cumplir con el estándar de compatibilidad "avanzada" de Amazon S3, lo que permite a los desarrolladores y administradores implementar almacenamiento que funciona de forma nativa con el SDK de Amazon S3. HyperStore también se desarrolló desde cero con soporte para implementaciones multiusuario y QoS, facturación y funciones de informes requeridas para que los revendedores y proveedores de servicios coloquen la plataforma en entornos de proveedores de servicios administrados. Los usuarios también pueden ejecutar análisis de Hadoop directamente en el software y los dispositivos de HyperStore.
Uno de los casos de uso para implementar HyperStore es aprovechar la función de copia de seguridad de CloudBerry. CloudBerry Managed Backup se puede ejecutar desde servidores Amazon EC2 con integración de almacenamiento HyperStore con Amazon S3, Amazon Glacier, Google Nearline, Windows Azure, OpenStack y otros proveedores de almacenamiento en la nube. Los proveedores de servicios que utilizan HyperStore con la solución Managed Backup de CloudBerry también pueden proporcionar acceso web a los usuarios o clientes para los datos almacenados en la instancia de HyperStore.
Cloudian acaba de lanzar Hyperstore Connect for Files. Esta nueva característica permite soporte nativo para SMB, NFS y FTP. Esta compatibilidad significa que el almacenamiento basado en archivos ahora es plug-and-play con Cloudian HyperStore. Hyperstore Connect for Files se ejecuta sobre una única implementación global de almacenamiento de objetos HyperStore, lo que reduce los costos y la complejidad de la administración, y tiene dos módulos: Access Point está diseñado para no tener estado y actúa como un servidor al que se conectan los clientes para convertir archivos en objetos; y Global View Manager ofrece un espacio de nombres global y un bloqueo de archivos global para la colaboración distribuida entre ubicaciones.
Para preparar esta descripción general de la plataforma HyperStore, trabajamos con HyperStore en su forma de dispositivo de software además de una pequeña configuración de bricolaje en nuestro laboratorio. El dispositivo de software se puede usar para establecer una instancia de HyperStore una vez que se implementa en un mínimo de tres nodos de servidor RedHat o CentOS. Las ofertas actuales de hardware de Cloudian incluyen dispositivos de rack HyperStore FL3000 con ocho nodos de almacenamiento en 3U. Cada unidad de expansión de 4U se puede implementar con hasta 480 TB. Precio de lista de Cloudian para una implementación de dispositivo HyperStore de 12U y 576 TB con cinco años de soporte a $324,000 XNUMX.
Especificaciones y opciones de hardware de Cloudian HyperStore
- Chasis µNode HyperStore FL3000
- Función: servicio de datos
- Factor de forma: 3U
- Unidades: 16xSSD (2 por µNode)
- Módulos: 8xµNodo
- Conectividad: 16x10G SFP+, 8x1Gbe IPMI
- Dimensiones (LxAnxAl): 589 mm x 438.4 mm x 132.5 mm 23.2” x 17.26” x 45.21”
- Peso: 88 libras (39.92 kg)
- Tamaño de la unidad: SSD MLC de 480 GB
- Fuente de alimentación: (2) Salida de 1620W @ 180-240V 10.5-8A, 50-60Hz
- Enfriamiento: 4x 8cm 11K RPM, ventiladores de enfriamiento PWM de 4 pines
- RoHS
- Zonas de disco: 1 zona por nodo
- Estante de expansión HyperStore
- Función: almacenamiento de datos
- Factor de forma: 4U
- Unidades: 60xHDD
- Módulos: (2) Módulos de interfaz SAS intercambiables en caliente (SIM) y (4) Módulos de interfaz SAS internos intercambiables en caliente (ISIM)
- Conectividad: 2 puertos mini-SAS de 4 Gb/s de 6 puertos
- Dimensiones (LxAnxAl): 1103.1 mm x 447 mm x 175.3 mm 43.43” x 17.60” x 6.90”
- Peso: 187.39 libras (85 kg) con HDD
- Tamaño de la unidad: 2, 4, 6, 8 TB SATA 7200 rpm
- Fuente de alimentación: (2) PSU redundantes de alta eficiencia de 1400 W 200-240 V CA, 50/60 Hz
- Refrigeración: (7+1) módulos de ventiladores redundantes de rotores por sistema
- RoHS
- Zonas de disco: 2 o 4 zonas por estante
- HyperStore FL3020 µNodo
- Discos de datos por nodo: 15
- Tipos de unidades compatibles: 2, 4, 5, 6 TB
- Capacidad máxima/nodo: 30 TB, 60 TB, 75 TB, 90 TB
- Tipo de CPU: Intel E5-2640 V2.2GHz, 8 núcleos
- Memoria: 64GB
- Conectividad: 2 puertos SFP+ de 10 Gbe, 1 puerto IPMI LAN de 1 Gbe
- Discos Hyperstore OS: 2 SSD de 480 GB
- Conectividad de disco: 2 puertos SAS de 6 bps
- KVM: puertos 1xVGA, 1xCOM y 2xUSB 2.0 (con dongle KVM)
- Interruptor: Poder
- HyperStore FL3050 µNodo
- Discos de datos por nodo: 30
- Tipos de unidades compatibles: 2, 4, 5, 6 TB
- Capacidad máxima/nodo: 60 TB, 120 TB, 150 TB, 180 TB
- Tipo de CPU: Intel E5-2640 V2.2GHz, 8 núcleos
- Memoria: 128GB
- Conectividad: 2 puertos SFP+ de 10 Gbe, 1 puerto IPMI Lan de 1 Gbe
- Discos Hyperstore OS: 2 SSD de 480 GB
- Conectividad de disco: 2 puertos SAS de 6 bps
- KVM: puertos 1xVGA, 1xCOM y 2xUSB 2.0 (con dongle KVM)
- Interruptor: Poder
Sistema operativo y entorno
HyperStore hace uso de la administración basada en web para el monitoreo de sistemas y clústeres y la gestión de datos, así como para proporcionar interfaces de gestión para usuarios, grupos, planes de calificación, controles de calidad de servicio y facturación. Las opciones de REST-ful API están disponibles para la integración con otros sistemas de aprovisionamiento, autenticación y facturación.
El sistema de gestión de acceso de HyperStore proporciona flujos de trabajo de identidad y seguridad para usuarios y administradores, incluida la gestión de políticas de facturación y devolución de cargo para los proveedores de servicios. Se admiten múltiples credenciales por usuario junto con cuotas de QoS configurables basadas en grupos y usuarios para almacenamiento y ancho de banda en nubes de múltiples inquilinos.
Las implementaciones de HyperStore utilizan hasta tres sistemas de archivos distribuidos: Cassandra Files System (CASSANRDA), HyperStore File System (HFS) y Erasure Code (EC). CASSANDRA se utiliza para índices de metadatos y también para optimizar el almacenamiento de archivos pequeños. El sistema de archivos HyperStore es la capa de almacenamiento de datos. Puede usar la replicación o la codificación de borrado (EC) para almacenar objetos. Puede elegir qué método de almacenamiento para diferentes grupos de almacenamiento (llamados cubos). Con EC, proporciona alta durabilidad y disponibilidad de datos con una sobrecarga de espacio mínima (una sobrecarga de tan solo el 20 % en algunas implementaciones). La contrapartida es que habrá una mayor latencia para acceder a los objetos y requerirá más procesamiento. Para grandes cargas de trabajo de copia de seguridad y archivo, se suele utilizar la codificación de borrado. La replicación se usa cuando las personas requieren un acceso más rápido y también para la replicación entre regiones. La transición automática basada en programación (el término de Cloudian para la organización automática en niveles) está disponible desde el almacenamiento de HyperStore al almacenamiento de Amazon S3, el almacenamiento de Amazon Glacier, una implementación remota de HyperStore o un servicio de HyperStore de terceros.
El cifrado del lado del servidor HyperStore AES-256 protege los datos en reposo con el cifrado SSL para los datos en tránsito a través de HTTPS. El sistema de archivos HyperStore también incorpora tres esquemas de compresión opcionales: snappy, lz4 y zlib. Snappy enfatiza la velocidad sobre la compresión, con un rendimiento de compresión nominal de 250 MB/seg o más y una tasa de descompresión de 500 MB/seg o más. lz4 presenta una relación de compresión más baja que zlib con una velocidad de compresión nominal de 400 MB/s por núcleo. zlib ofrece una relación de compresión media y velocidad con una alta tasa de descompresión.
Además de la funcionalidad integrada de HyperStore, los usuarios de HyperStore pueden aprovechar varias aplicaciones disponibles en CloudBerry Labs de Cloudian. Las más notables de estas ofertas son los miembros de la familia CloudBerry Backup, pero Cloudian también ofrece aplicaciones para la administración simplificada de archivos basada en la nube, montaje de almacenamiento en la nube como unidades de red y CloudBerry Box, una herramienta bidireccional similar a Dropbox para sincronizar datos. a través de computadoras remotas a través de una cuenta de almacenamiento en la nube.
CloudBerry Backup incluye copias de seguridad programadas y en tiempo real, cifrado y compresión, limitación del ancho de banda y copia de seguridad a nivel de bloque, así como copias de seguridad para el servidor MS SQL, MS Exchange, VMware e Hyper-V. Una edición para proveedores de servicios administrados puede monitorear el historial de respaldo del usuario desde un panel de control de respaldo administrado y puede crear cuentas de subadministrador con permisos limitados.
Equipo Directivo
Al iniciar sesión como administrador, la pantalla principal de la GUI nos muestra la región en la parte superior. Debajo de la región está la capacidad administrada, siendo azul la cantidad utilizada y verde la cantidad libre. Directamente debajo de la capacidad administrada se encuentra el estado del clúster (como se puede ver, actualmente hay alertas activas). A la derecha de estos están las transacciones por segundo y el rendimiento medido en KB/s (en ambos gráficos, los PUT son azules mientras que los GET son verdes). En la parte inferior de la pantalla se encuentra la cantidad de usuarios, grupos, objetos, nodos y centros de datos administrados junto con la versión del software.
A lo largo de la parte superior de la pantalla hay pestañas como la pantalla principal, análisis, cubos y objetos, usuarios y grupos, clúster, alertas, configuraciones y ayuda. Para configurar usuarios y grupos, los administradores deben hacer clic en la pestaña Usuarios y grupos. A través de esta pestaña se puede agregar un nuevo grupo, así como una QoS específica para cada grupo.
Los administradores también pueden crear planes de calificación dentro de esta pestaña. Los planes de calificación se crean con el propósito de reportes de facturación. Los administradores también pueden verificar la actividad de la cuenta para un grupo o usuario determinado.
A través de la pestaña de análisis, los administradores pueden observar el uso del clúster, como el consumo de capacidad de la región a lo largo del tiempo en GB, las transacciones de objetos por segundo y el rendimiento en KB/s. El explorador de capacidad muestra el uso de la capacidad a través de una representación gráfica. Nuevamente, por motivos de facturación, los administradores pueden verificar el uso por usuario. Y pueden buscar objetos específicos.
A través de la pestaña Depósitos y objetos, los administradores pueden cargar, crear o buscar depósitos y objetos. Los cubos disponibles se enumeran en el lado izquierdo. Debajo de la búsqueda está la lista de objetos, su tamaño y cuándo se modificaron por última vez.
La pestaña Clúster ofrece a los administradores varias miradas diferentes a su clúster. Dentro de la pestaña hay varias subpestañas para Centros de datos, que muestran el clúster por región y muestran el estado del clúster: verde significa claro, ámbar significa una alerta (en la imagen debajo de cada hexágono representa un nodo dentro del clúster).
Hay una pestaña de Estado de los nodos que muestra el estado general, indicando aspectos como el porcentaje de espacio en disco utilizado, el porcentaje de utilización de la CPU, información detallada sobre los discos que se están utilizando, información sobre el uso de la memoria, así como el estado del servicio y listas de eventos. .
La pestaña Actividad del nodo brinda a los administradores una representación gráfica de un aspecto operativo particular del nodo. Los usuarios tienen varias opciones, incluida la utilización de la CPU (imagen a continuación), disco disponible, lecturas de disco, escrituras de disco, rendimiento de red (saliente), rendimiento de red (entrante), transacciones (obtener), transacciones (poner, rendimiento de solicitud (obtener), rendimiento de solicitud (Put), Latencia de solicitud promedio (Get), Latencia de solicitud promedio (Put), Uso de almacenamiento dinámico de memoria de administrador, Uso de almacenamiento dinámico de memoria de Cassandra, Uso de almacenamiento dinámico de memoria de HyperStore y Uso de almacenamiento dinámico de memoria S3.
La configuración avanzada permite el mantenimiento, la desactivación de discos, la capacidad de recopilar diagnósticos y desinstalar un nodo.
La pestaña Configuración de clúster permite a los administradores ver la información de su clúster, así como actualizar su licencia, ver y editar sus ajustes de configuración de clúster y configurar el cambio automático. Para la asignación automática de niveles, se espera que los clientes tengan una sola cuenta de Amazon.
La pestaña Política de almacenamiento permite a los administradores configurar la política, incluido EC2+1. Esta pestaña tiene una distribución de datos de apuntar y hacer clic y una pantalla desplegable para seleccionar el valor K+M de la codificación de borrado. Después de seleccionarlos, los administradores pueden asignar el centro de datos por región y el centro de datos dentro de cada región. Una vez que se asignan los centros de datos, los usuarios pueden establecer niveles de coherencia de datos y metadatos, así como la visibilidad del grupo.
Las reglas de notificación permiten que se envíe un correo electrónico a una dirección específica para elementos específicos dentro del nodo. Los administradores deben agregar la dirección de correo electrónico en la que desean recibir la notificación y luego seleccionar el elemento sobre el que les gustaría recibir una notificación a través de las reglas dadas. Por ejemplo, si desean recibir una notificación si el clúster utiliza más del 90 % de la utilización de la CPU, pueden configurarlo a través de esta pestaña.
La subpestaña final dentro de la pestaña del grupo muestra el estado de reparación y el historial de reparación.
La pestaña Alertas indica cuando ha habido un problema o un cambio dentro del sistema. Las alertas pueden clasificarse por nodo o región y borrarse reconociéndolas.
Conclusión
HyperStore es una plataforma de almacenamiento que ejemplifica las oportunidades posibles y la convergencia del almacenamiento en la nube ampliamente disponible y las API abiertas. El dispositivo de software HyperStore permite a los administradores implementar una nube de almacenamiento de objetos S3 totalmente compatible en hardware de servidor básico, con la opción de escalar sin problemas con la adición de nuevo hardware básico o dispositivos de hardware HyperStore especialmente diseñados.
Al construir HyperStore desde cero para la interoperabilidad con otras plataformas en la nube de Amazon S3, Cloudian puede ofrecer a los clientes soluciones que aprovechan al máximo los proveedores de la nube de terceros para la organización en niveles, la copia de seguridad, la replicación y otras funciones sin tener que administrar dos entornos de almacenamiento diferentes con diferentes arquitecturas o paradigmas de gestión. Esto también significa que los administradores y usuarios de HyperStore pueden hacer uso del soporte nativo de HyperStore para el ecosistema bien establecido de aplicaciones S3.
Lo más importante es...
HyperStore brinda el poder y la flexibilidad del almacenamiento en la nube S3 en las instalaciones al hardware básico junto con integraciones de API para aprovechar al máximo el almacenamiento en la nube externo de Amazon, Google, Microsoft y otros.
Entorno operativo Cloudian HyperStore
Dispositivos de hardware Cloudian HyperStore
Suscríbase al boletín de StorageReview
