O HyperStore da Cloudian é uma plataforma de armazenamento definido por software construída com suporte nativo para a API Amazon S3, com integrações com várias outras APIs de armazenamento em nuvem. A Cloudian oferece o HyperStore na forma de dispositivos de armazenamento e uma solução de software HyperStore Operating Environment para hardware comum. As integrações de nuvem rígidas do HyperStore destacam as camadas, backup, replicação, armazenamento a frio e outras funcionalidades da plataforma. Isso também permite que o Cloudian ofereça suporte a uma variedade de opções de implantação que podem aproveitar uma combinação de armazenamento local, remoto e em nuvem.
O HyperStore da Cloudian é uma plataforma de armazenamento definido por software construída com suporte nativo para a API Amazon S3, com integrações com várias outras APIs de armazenamento em nuvem. A Cloudian oferece o HyperStore na forma de dispositivos de armazenamento e uma solução de software HyperStore Operating Environment para hardware comum. As integrações de nuvem rígidas do HyperStore destacam as camadas, backup, replicação, armazenamento a frio e outras funcionalidades da plataforma. Isso também permite que o Cloudian ofereça suporte a uma variedade de opções de implantação que podem aproveitar uma combinação de armazenamento local, remoto e em nuvem.
A arquitetura de expansão HyperStore distribui todos os dados, metadados, configurações e operações no cluster e oferece suporte à implantação em vários datacenters. O HyperStore aproveita o streaming de objetos e a funcionalidade dinâmica de classificação automática para mover dados entre a nuvem local e os serviços de armazenamento remoto em nuvem em escalas de até milhares de servidores e centenas de petabytes de dados em vários data centers.
O HyperStore implementa as 51 operações necessárias para atender ao padrão de compatibilidade "avançada" do Amazon S3, que permite que desenvolvedores e administradores implantem armazenamento que funciona nativamente com o SDK do Amazon S3. O HyperStore também foi desenvolvido desde o início com suporte para implantações multilocatários e recursos de QoS, cobrança e relatórios necessários para que revendedores e provedores de serviços coloquem a plataforma em ambientes de provedores de serviços gerenciados. Os usuários também podem executar análises do Hadoop diretamente no software e nos dispositivos HyperStore.
Um dos casos de uso para implantar o HyperStore é aproveitar a funcionalidade de backup do CloudBerry. CloudBerry Managed Backup pode ser executado a partir de servidores Amazon EC2 com integração de armazenamento HyperStore com Amazon S3, Amazon Glacier, Google Nearline, Windows Azure, OpenStack e outros provedores de armazenamento em nuvem. Os provedores de serviços que usam o HyperStore com a solução de backup gerenciado da CloudBerry também podem fornecer acesso à Web para usuários ou clientes para dados armazenados na instância do HyperStore.
A Cloudian lançou recentemente o Hyperstore Connect for Files. Esse novo recurso permite suporte nativo para SMB, NFS e FTP. Esse suporte significa que o armazenamento baseado em arquivo agora é plug-and-play com o Cloudian HyperStore. O Hyperstore Connect for Files é executado em uma única implantação global de armazenamento de objetos HyperStore, reduzindo custos e complexidade de gerenciamento e possui dois módulos: Ponto de acesso projetado para ser sem estado e atuar como um servidor ao qual os clientes se conectam para converter arquivos em objetos; e o Global View Manager oferece um namespace global e bloqueio de arquivo global para colaboração distribuída entre locais.
Para preparar esta visão geral da plataforma HyperStore, trabalhamos com o HyperStore em sua forma de dispositivo de software, além de uma pequena configuração DIY em nosso laboratório. O dispositivo de software pode ser usado para estabelecer uma instância HyperStore depois de implantado em um mínimo de três nós de servidor RedHat ou CentOS. As ofertas atuais de hardware Cloudian incluem dispositivos de rack HyperStore FL3000 com oito nós de armazenamento em 3U. Cada unidade de expansão 4U pode ser implantada com até 480 TB. Preço de tabela Cloudian para uma implantação de dispositivo HyperStore de 12U e 576 TB com cinco anos de suporte por US$ 324,000.
Especificações e opções de hardware Cloudian HyperStore
- Chassis HyperStore FL3000 µNode
- Função: Serviço de dados
- Fator de forma: 3U
- Unidades: 16xSSDs (2 por µNode)
- Módulos: 8xµNode
- Conectividade: 16x10G SFP+, 8x1Gbe IPMI
- Dimensões (CxLxA): 589 mm x 438.4 mm x 132.5 mm 23.2" x 17.26" x 45.21"
- Peso: 88 libras (39.92 kg)
- Tamanho da unidade: 480 GB SSD MLC
- Fonte de alimentação: (2) Saída de 1620 W @ 180-240 V 10.5-8 A, 50-60 Hz
- Resfriamento: 4 x 8 cm 11K RPM, ventiladores PWM de 4 pinos
- RohS: em conformidade
- Zonas de disco: 1 zona por nó
- Prateleira de Expansão HiperStore
- Função: Armazenamento de Dados
- Fator de forma: 4U
- Unidades: 60xHDDs
- Módulos: (2) Módulos de interface SAS (SIM) de troca a quente e (4) Módulos de interface SAS internos (ISIM) de troca a quente
- Conectividade: 2 portas mini-SAS de 4 Gb/s de 6 portas
- Dimensões (CxLxA): 1103.1 mm x 447 mm x 175.3 mm 43.43" x 17.60" x 6.90"
- Peso: 187.39 libras (85 kg) com HDDs
- Tamanho da unidade: 2, 4, 6, 8 TB SATA 7200 rpm
- Fonte de alimentação: (2) PSUs redundantes de alta eficiência de 1400 W 200-240 VAC, 50/60 Hz
- Resfriamento: (7+1) módulos de ventiladores redundantes de rotores por sistema
- RohS: em conformidade
- Zonas de disco: 2 ou 4 zonas por prateleira
- MicroStore FL3020 µNode
- Discos de dados por nó: 15
- Tipos de unidade suportados: 2, 4, 5, 6 TB
- Capacidade máxima/nó: 30 TB, 60 TB, 75 TB, 90 TB
- Tipo de CPU: Intel E5-2640 V2.2GHz, 8 núcleos
- Memória: 64GB
- Conectividade: 2x10Gbe SFP+Port, 1x1Gbe IPMI LAN Port
- Discos Hyperstore OS: SSDs de 2x480 GB
- Conectividade de disco: portas SAS de 2x6bps
- KVM: 1xVGA, 1xCOM e 2xUSB 2.0 (com dongle KVM)
- Interruptor: Poder
- HyperStore FL3050 µNode
- Discos de dados por nó: 30
- Tipos de unidade suportados: 2, 4, 5, 6 TB
- Capacidade máxima/nó: 60 TB, 120 TB, 150 TB, 180 TB
- Tipo de CPU: Intel E5-2640 V2.2GHz, 8 núcleos
- Memória: 128GB
- Conectividade: 2x10Gbe SFP+ Port, 1x1Gbe IPMI Lan Port
- Discos Hyperstore OS: SSDs de 2x480 GB
- Conectividade de disco: portas SAS de 2x6bps
- KVM: 1xVGA, 1xCOM e 2xUSB 2.0 (com dongle KVM)
- Interruptor: Poder
Sistema operacional e ambiente
O HyperStore faz uso de administração baseada na web para monitoramento de sistema e cluster e gerenciamento de dados, bem como para fornecer interfaces de gerenciamento para usuários, grupos, planos de classificação, controles de qualidade de serviço e cobrança. As opções de API REST-ful estão disponíveis para integração com outros sistemas de provisionamento, autenticação e cobrança.
O sistema de gerenciamento de acesso do HyperStore fornece fluxos de trabalho de identidade e segurança para usuários e administradores, incluindo gerenciamento de políticas de faturamento e cobrança retroativa para provedores de serviços. Várias credenciais por usuário são suportadas juntamente com cotas de QoS configuráveis baseadas em grupo e usuário para armazenamento e largura de banda em nuvens multilocatário.
As implantações do HyperStore utilizam até três sistemas de arquivos distribuídos: Cassandra Files System (CASSANRDA), HyperStore File System (HFS) e Erasure Code (EC). CASSANDRA é usado para índices de metadados e também para otimizar o armazenamento de pequenos arquivos. O sistema de arquivos HyperStore é a camada de armazenamento de dados. Ele pode usar replicação ou codificação de eliminação (EC) para armazenar objetos. Você pode escolher qual método de armazenamento para diferentes pools de armazenamento (chamados de Buckets). Com o EC, ele fornece alta durabilidade e disponibilidade de dados com sobrecarga mínima de espaço (até 20% de sobrecarga em algumas implantações). A desvantagem é que haverá uma latência maior para acessar objetos e exigir mais processamento. Para grandes cargas de trabalho de backup e arquivamento, a codificação de eliminação é comumente usada. A replicação é usada quando as pessoas precisam de acesso mais rápido e também para replicação entre regiões. A transição automática baseada em agendamento (termo da Cloudian para classificação automática por níveis) está disponível do armazenamento HyperStore para armazenamento Amazon S3, armazenamento Amazon Glacier, uma implantação remota de HyperStore ou um serviço HyperStore de terceiros.
A criptografia do lado do servidor HyperStore AES-256 protege os dados em repouso com criptografia SSL para dados em trânsito via HTTPS. O sistema de arquivos HyperStore também incorpora três esquemas de compactação opcionais: snappy, lz4 e zlib. O Snappy enfatiza a velocidade sobre a compactação, com uma taxa de transferência de compactação nominal de 250 MB/s ou mais e uma taxa de descompactação de 500 MB/s ou mais. O lz4 apresenta uma taxa de compactação mais baixa que o zlib com uma velocidade de compactação nominal de 400 MB/s por núcleo. O zlib oferece uma taxa de compactação média e velocidade com uma alta taxa de descompactação.
Além da funcionalidade integrada do HyperStore, os usuários do HyperStore podem aproveitar vários aplicativos disponíveis nos CloudBerry Labs da Cloudian. A mais notável dessas ofertas são os membros da família CloudBerry Backup, mas o Cloudian também oferece aplicativos para gerenciamento simplificado de arquivos baseado em nuvem, montagem de armazenamento em nuvem como unidades de rede e CloudBerry Box, uma ferramenta bidirecional semelhante ao Dropbox para sincronizar dados em computadores remotos por meio de uma conta de armazenamento em nuvem.
CloudBerry Backup inclui backups agendados e em tempo real, criptografia e compactação, limitação de largura de banda e backup em nível de bloco, bem como backup para servidor MS SQL, MS Exchange, VMware e Hyper-V. Uma edição para provedores de serviços gerenciados pode monitorar o histórico de backup do usuário a partir de um painel de controle de backup gerenciado e pode criar contas de subadministrador com permissões limitadas.
Gestão de Sistemas
Conectado como administrador, a tela principal da GUI nos dá a região na parte superior. Abaixo da região está a capacidade gerenciada, sendo azul a quantidade usada e verde a quantidade livre. Diretamente abaixo da capacidade gerenciada está a integridade do cluster (como se pode ver, há alertas atualmente ativos). À direita estão as transações por segundo e o throughput medido em KB/s (em ambos os gráficos, os PUTs são azuis enquanto os GETs são verdes). Na parte inferior da tela está o número de usuários, grupos, objetos, nós e datacenters gerenciados junto com a versão do software.
Na parte superior da tela estão as guias, como a tela principal, análise, depósitos e objetos, usuários e grupos, cluster, alertas, configurações e ajuda. Para configurar usuários e grupos, os administradores precisam clicar na guia Usuários e grupos. Através desta aba pode ser adicionado um novo grupo assim como um QoS específico para cada grupo.
Os administradores também podem criar planos de classificação nessa guia. Os planos de classificação são criados com a finalidade de relatórios de cobrança. Os administradores também podem verificar a atividade da conta para um determinado grupo ou usuário.
Por meio da guia de análise, os administradores podem observar o uso do cluster observando itens como consumo de capacidade da região ao longo do tempo em GB, transações de objeto por segundo e taxa de transferência em KB/s. O explorador de capacidade mostra o uso da capacidade por meio de uma representação gráfica. Novamente por motivos de cobrança, os administradores podem verificar o uso por usuário. E eles podem procurar por objetos específicos.
Por meio da guia Buckets & Objects, os administradores podem fazer upload, criar ou pesquisar buckets e objetos. Os baldes disponíveis estão listados no lado esquerdo. Abaixo da pesquisa está a lista dos objetos, seu tamanho e quando foram modificados pela última vez.
A guia Cluster oferece aos administradores várias visões diferentes de seu cluster. Dentro da guia há várias subguias para Data Centers, que mostram cluster por região e mostram a integridade do cluster - verde sendo claro, âmbar significando um alerta (foto abaixo de cada hexágono representa um nó dentro do cluster).
Há uma aba de Status dos Nós que mostra o status geral, indicando aspectos como a porcentagem de espaço em disco usado, a porcentagem de utilização da CPU, informações detalhadas sobre os discos em uso, informações sobre o uso de memória, bem como status do serviço e listas de eventos .
A guia Atividade do nó fornece aos administradores uma representação gráfica de um aspecto operacional específico do nó. Os usuários têm várias opções, incluindo utilização da CPU (foto abaixo), disco disponível, leituras de disco, gravações de disco, taxa de transferência de rede (saída), taxa de transferência de rede (entrada), transações (obter), transações (colocar, taxa de transferência de solicitação (obter), taxa de transferência de solicitação (Put), Latência Média de Solicitação (Get), Latência Média de Solicitação (Put), Uso de Heap de Memória Admin, Uso de Heap de Memória Cassandra, Uso de Heap de Memória HyperStore e Uso de Heap de Memória S3.
As configurações avançadas permitem a manutenção, desabilitando discos, a capacidade de coletar diagnósticos e desinstalar um nó.
A guia Cluster Config permite que os administradores visualizem suas informações de cluster, bem como atualizem sua licença, exibam e editem suas definições de configuração de cluster e configurem o Auto tingimento. Para a classificação automática, espera-se que os clientes tenham uma única conta da Amazon.
A guia Política de armazenamento permite que os administradores configurem a política, incluindo EC2+1. Essa guia possui distribuição de dados do tipo apontar e clicar e uma tela suspensa para selecionar o valor K+M da codificação de eliminação. Depois de selecioná-los, os administradores podem atribuir o datacenter por região e datacenter dentro de cada região. Depois que os datacenters são atribuídos, os usuários podem definir os níveis de consistência de dados e metadados, bem como a visibilidade do grupo.
As regras de notificação permitem que um e-mail seja enviado para um endereço específico para itens específicos no nó. Os administradores precisam adicionar o endereço de e-mail no qual desejam receber a notificação e, em seguida, selecionar sobre qual item gostariam de ser notificados por meio das regras fornecidas. Por exemplo, se eles quiserem ser notificados se o cluster estiver usando mais de 90% da utilização da CPU, eles podem configurar isso por meio desta guia.
A subguia final na guia do cluster mostra o status e o histórico de reparos.
A guia Alertas indica quando houve um problema ou uma alteração no sistema. Os alertas podem ser classificados por nó ou região e limpos ao reconhecê-los.
Conclusão
HyperStore é uma plataforma de armazenamento que exemplifica as oportunidades possíveis e a convergência de armazenamento em nuvem amplamente disponível e APIs abertas. O dispositivo de software HyperStore permite que os administradores implantem uma nuvem de armazenamento de objeto S3 totalmente compatível em hardware de servidor comum, com a opção de escalar perfeitamente com a adição de novo hardware básico ou dispositivos de hardware HyperStore desenvolvidos especificamente.
Ao construir o HyperStore desde o início para interoperabilidade com outras plataformas de nuvem Amazon S3, a Cloudian pode oferecer aos clientes soluções que aproveitam ao máximo os provedores de nuvem de terceiros para camadas, backup, replicação e outras funções sem ter que gerenciar dois ambientes de armazenamento diferentes com arquiteturas ou paradigmas de gestão. Isso também significa que os administradores e usuários do HyperStore podem usar o suporte nativo do HyperStore para o ecossistema bem estabelecido de aplicativos S3.
Concluindo!
O HyperStore traz o poder e a flexibilidade do armazenamento em nuvem S3 no local para hardware de commodity, juntamente com integrações de API para aproveitar ao máximo o armazenamento em nuvem externo da Amazon, Google, Microsoft e outros.
Ambiente Operacional Cloudian HyperStore
Dispositivos de hardware Cloudian HyperStore
Inscreva-se no boletim informativo StorageReview
