O Qumulo File System é o exclusivo sistema de arquivos distribuído definido por software da Qumulo que abrange o data center, a nuvem privada e a pública. Seu software é construído para a nuvem híbrida, permitindo que ele seja executado em plataformas de hardware padrão do setor pré-configuradas e pré-qualificadas, bem como nativamente em várias nuvens públicas. Em nosso laboratório, tivemos a oportunidade de estudar o software da Qumulo e algumas de suas capacidades mais significativas. Nesta revisão específica, damos uma olhada no sistema de arquivos do Qumulo e sua interface gráfica do usuário (GUI).
O Qumulo File System é o exclusivo sistema de arquivos distribuído definido por software da Qumulo que abrange o data center, a nuvem privada e a pública. Seu software é construído para a nuvem híbrida, permitindo que ele seja executado em plataformas de hardware padrão do setor pré-configuradas e pré-qualificadas, bem como nativamente em várias nuvens públicas. Em nosso laboratório, tivemos a oportunidade de estudar o software da Qumulo e algumas de suas capacidades mais significativas. Nesta revisão específica, damos uma olhada no sistema de arquivos do Qumulo e sua interface gráfica do usuário (GUI).
Para inovar, as organizações dependem de armazenamento moderno, infraestrutura de dados, aplicativos e serviços legados e baseados em nuvem e armazenamento em nuvem, bem como plataformas e gerenciamento de dados não estruturados. No entanto, os dados não estruturados estão se tornando um problema para as empresas que desejam migrar para a nuvem ou alavancar um modelo de nuvem híbrida, pois esse tipo de dados cria um novo silo de dados; na maioria das plataformas de nuvem disponíveis. O departamento de TI enfrenta essa consequência que, na maioria das vezes, fica sobrecarregado para gerenciar cargas de trabalho em dois sistemas de arquivos diferentes: um em suas instalações e outro na nuvem.
No entanto, o verdadeiro problema não são as plataformas de nuvem nem as plataformas de dados não estruturados. Ainda estamos usando armazenamento de arquivos herdado que não é adequado para fazer a transição para a nuvem. Como destaca Qumulo, a TI mudou, mas o armazenamento de arquivos não. As últimas arquiteturas de armazenamento de arquivos bem-sucedidas foram criadas há mais de 15 anos, antes do boom da nuvem. Por outro lado, o armazenamento de arquivos moderno deve estar pronto para a nuvem: unifique todos os tipos de dados não estruturados, dimensione para bilhões de arquivos, abranja vários data centers e a própria nuvem. Além disso, forneça visibilidade e automação com análises em tempo real e controle orientado por API.
Qumulo: um sistema de arquivos pronto para a nuvem
Identificando-se como um tipo diferente de empresa de armazenamento, a Qumulo afirma ter o primeiro sistema de arquivos para lidar com cargas de trabalho de nuvem híbrida e fornecer serviços de dados de arquivos nativos da nuvem. Com este software, a empresa tem como alvo plataformas de dados não estruturados e capacita aplicativos e microsserviços para construtores e desenvolvedores. O software do sistema de arquivos Qumulo está disponível na nuvem pública, privada e híbrida.
As camadas do software da Qumulo incluem:
- Plataformas. As plataformas de hardware atuais incluem HPE e Fujitsu e nuvens públicas AWS e GCP. A Qumulo também anunciou recentemente a capacidade de transferir dados de arquivo para objeto para aproveitar aplicativos e serviços nativos da nuvem que aproveitam dados de objeto.
- O sistema operacional. Baseado no Ubuntu Linux padrão.
- Armazenamento de Bloco Escalável (SBS). A fundação da Qumulo. Permite escala, portabilidade, proteção e desempenho.
- O sistema de arquivos. Ele permite contagens de arquivo escaláveis e operações de arquivo de alto desempenho. Além disso, fornece informações em tempo real sobre desempenho e capacidade.
- Serviços de dados. Proteja, proteja e gerencie dados na plataforma Qumulo usando as ferramentas de nível empresarial. Essa camada consiste em cinco recursos: instantâneos, replicação, cotas, auditoria e controle de acesso baseado em função (RBAC).
- Gestão e Programabilidade. Habilitar para construir soluções integradas com a plataforma Qumulo, e administradores para automatizar e gerenciar seus serviços de dados.
- Acesso a Dados e Autenticação. Habilite o acesso aos dados usando aplicativos padrão e sistemas operacionais, garantindo segurança de nível empresarial. Essa camada oferece suporte a protocolos de acesso corporativo, incluindo NFS, SMB e FTP.
Nosso foco aqui é o sistema de arquivos, que se baseia no conceito de organizar dados em estruturas lógicas e permitir cargas de trabalho com contagens massivas de arquivos. O sistema de arquivos usa uma arquitetura distribuída que apresenta um único namespace. As plataformas usadas são clusters sem compartilhamento de nós independentes, cada nó fornecendo capacidade e desempenho. Além disso, os nós individuais se coordenam consistentemente uns com os outros, possibilitando que qualquer cliente se conecte a qualquer nó e leia e grave no namespace. Essa estrutura é muito interessante; seu objetivo é que os criadores colaborem em conjuntos de dados à medida que avançam no ciclo de vida dos dados. Ele também fornece informações em tempo real sobre o desempenho e a utilização da capacidade, mesmo quando os sistemas escalam para petabytes e bilhões de arquivos.
O Qumulo File System organiza dados em diretórios e apresenta dados para clientes SMB e NFS com a capacidade de compartilhar dados entre protocolos, dando a vários usuários diferentes e tipos de aplicativos acesso aos mesmos dados. O sistema de arquivos possui propriedades únicas onde se destaca: o uso de árvores B e um mecanismo de análise de dados em tempo real integrado.
Com o uso da estrutura B-trees, o Qumulo pode escalar para bilhões de arquivos sem enfrentar problemas comuns em outros sistemas. As árvores B são particularmente adequadas para sistemas que leem e gravam grandes números de blocos de dados porque são estruturas de dados “rasas” que minimizam a quantidade de E/S necessária para cada operação à medida que o número de dados aumenta. Essas estruturas são ideais para sistemas de arquivos e índices extensos de banco de dados.
Outra parte crítica do Qumulo File System é a capacidade de reconhecimento de dados com um mecanismo de análise em tempo real. A conscientização de dados significa visibilidade multidimensional no sistema de armazenamento, fornecendo insights poderosos sobre o conteúdo do sistema, atividade, usuários e muito mais. Com a análise em tempo real da Qumulo, os administradores de armazenamento podem monitorar rapidamente o uso e o desempenho do armazenamento, incluindo taxa de transferência e latência. Essa visibilidade permite que as organizações obtenham controle sobre seus dados não estruturados e reduzam os custos operacionais e de capital gerais, gerenciando proativamente as necessidades atuais e prevendo melhor os requisitos de armazenamento futuros. A interface do usuário da web Qumulo, conforme analisado na seção abaixo, traz essa visibilidade para o próximo nível de gerenciamento do sistema.
Com sua arquitetura de software e seu sistema de arquivos específico, a Qumulo permite que as organizações atinjam metas de negócios que antes eram impossíveis apenas no data center local. Uma das vantagens do Qumulo é executar seu sistema de arquivos no local e, em seguida, executar exatamente o mesmo software na nuvem. A empresa é conhecida como fornecedora de armazenamento de arquivos em expansão. Agora, usando a elasticidade da nuvem e a escala da computação em nuvem e da infraestrutura de armazenamento em nuvem, juntamente com o software da Qumulo, torna-se muito poderoso mover dados para frente e para trás e expandir ou expandir facilmente o data center. Por exemplo, as empresas podem usar seus aplicativos locais como estão, transferi-los para a nuvem e simplesmente funcionar. E se um usuário tiver dados de arquivo que deseja aproveitar com serviços em nuvem, como aprendizado de máquina ou IA, a funcionalidade Shift da Qumulo copiará os dados para um armazenamento de objeto na nuvem para obter acesso à inovação de aplicativos nativos da nuvem.
À medida que as organizações movem essas cargas de trabalho para a nuvem, elas também querem compreender o desempenho de seus dados. A mesma experiência que a análise da Qumulo oferece para plataformas de hardware é encontrada na nuvem, oferecendo uma experiência de nuvem híbrida completa. Se as empresas executam o software em um dispositivo físico ou na nuvem, o software é o mesmo, incluindo a mesma GUI e os mesmos recursos.
Para obter mais detalhes sobre recursos e capacidades, recomendamos que você visite a documentação técnica no site da Qumulo.
Qumulo Desempenho
Configuração de Desempenho
A configuração dos nós Qumulo em nosso cluster de 5 nós incluiu portas duplas de 25 GbE em LACP com quatro SSDs SATA de 480 GB e doze HDDs SATA de 6 TB cada. Para nossos testes de armazenamento, provisionamos um único namespace NFS para nossos oito servidores Dell EMC PowerEdge R740xd, cada um com uma única porta 25G atribuída ao vSwitch conectando-se ao compartilhamento NFS. Em seguida, usamos nossos 16 CentOS LoadGens no VMware, cada um com vDisks duplos de 125 GB alocados, dando-nos um total de 4 TB de espaço ocupado no cluster.
Quando se trata de matrizes de armazenamento de comparação, o teste de aplicativo é o melhor e o teste sintético vem em segundo lugar. Embora não seja uma representação perfeita das cargas de trabalho reais, os testes sintéticos ajudam a estabelecer a linha de base dos dispositivos de armazenamento com um fator de repetibilidade que facilita a comparação entre soluções concorrentes. Essas cargas de trabalho oferecem uma variedade de perfis de teste diferentes, desde testes de "quatro cantos", testes de tamanho de transferência de banco de dados comuns, bem como capturas de rastreamento de diferentes ambientes VDI. Todos esses testes utilizam o gerador de carga de trabalho vdBench comum, com um mecanismo de script para automatizar e capturar resultados em um grande cluster de teste de computação. Isso nos permite repetir as mesmas cargas de trabalho em uma ampla variedade de dispositivos de armazenamento, incluindo arrays flash e dispositivos de armazenamento individuais.
Com a matriz de armazenamento Qumulo sendo otimizada para transferências de blocos grandes, nossos testes se concentraram em transferências sequenciais de 64K, 1024K e 2048K.
perfis:
- Leitura sequencial de 64K: 100% de leitura, 32 threads, 0-120% iorado
- Gravação sequencial de 64K: 100% gravação, 32 threads, 0-120% iorado
- Leitura sequencial de 1024K: 100% de leitura, 32 threads, 0-120% iorado
- Gravação sequencial de 1024K: 100% gravação, 32 threads, 0-120% iorado
- Leitura sequencial de 2048K: 100% de leitura, 32 threads, 0-120% iorado
- Gravação sequencial de 2048K: 100% gravação, 32 threads, 0-120% iorado
O primeiro é nosso benchmark sequencial de 64K, 74,619 IOPS ou 4.66 GB/s a uma latência de 11.3 ms.
A gravação de 64K teve um desempenho máximo de cerca de 9K IOPS ou 555MB/s com uma latência de 110ms.
Em seguida, passamos para nossos testes de 1024K. Para leitura, vimos um desempenho máximo de 7,128 IOPS ou 7.13 GB/s com uma latência de 108 ms.
A gravação de 1024K teve um pico de aproximadamente 1,670 IOPS ou 1.6 GB/s em uma latência de 557 ms antes de cair um pouco.
Nossos benchmarks sequenciais finais são nossos 2048K. No desempenho de leitura, vimos um pico de 3,858 IOPS ou 7.7 GB/s com uma latência de 184 ms.
Por fim, em nossa gravação de 2048K, vimos um pico de 1,055 IOPS ou 2.1 GB/s com uma latência de 433 ms.
Visão geral da IU da Web Qumulo
Na seção a seguir, apresentamos uma visão geral da interface de usuário da web do Qumulo e algumas de suas principais configurações. A empresa oferece essa interface do usuário baseada na Web para que os administradores implantem, gerenciem e monitorem data centers e ambientes de nuvem.
Depois de fazer login no cluster como admin, somos levados diretamente para a página Dashboard. Neste ponto, percebemos imediatamente a interface do usuário da Web exclusiva e de aparência moderna proposta pela Qumulo. Essa interface de usuário da web consiste em um menu intuitivo bem organizado em guias; vemos no canto superior esquerdo da tela, que inclui rapidamente todas as categorias necessárias para implantar, gerenciar e monitorar nossa infraestrutura. O menu principal consiste nas guias Dashboard, Analytics, Sharing, Cluster, API's & Tools e Support. Apontando para essas guias, a IU exibe uma lista suspensa para acessar todas as diferentes páginas que a IU oferece. No canto superior direito, os usuários podem ver a versão atual do software, a hora (com base na hora local do cliente do navegador da Web) e o usuário conectado no momento.
Ainda na página do Dashboard, notamos um atraente layout de UI que facilita o monitoramento das infraestruturas, e onde podemos observar diferentes áreas críticas como Cluster Overview, Capacity Trends, Client Activity e, em tempo real, Cluster Activity.
Um conceito que gostamos particularmente na interface do usuário, na área do Dashboard, é a interação dinâmica com todos os seus elementos. Por exemplo, em Cluster Activity, pode-se facilmente arrastar para mover, expandir ou restringir a atividade de informação desejada que queremos monitorar, dentro de 24 horas. Aqui também temos alguns presets com períodos de 1 min, 5 min, 1 hora, e o padrão, 3 horas. As métricas (IOPS e throughput) serão ajustadas de acordo com os dados de pico.
Rolando para baixo na página do Painel, encontramos a área de Atividade do cliente.
Agora, passamos direto para a área onde a Qumulo se destaca, o analytics. Conforme mencionado anteriormente, o Qumulo permite que os administradores gerenciem os dados e usuários em tempo real. Em Analytics > Integrated Analytics, podemos ver o painel de informações à esquerda preenchido com os clientes que estão usando mais recursos do sistema e com os diretórios e arquivos sendo lidos e gravados ativamente. Esta informação é mostrada depois de clicar em um diretório ou subdiretório específico.
Passando para a página Capacity Explorer, ainda na aba Analytics, podemos ver como a capacidade está distribuída no sistema. Primeiro, temos uma visão geral da capacidade do diretório, listada do maior para o menor.
Ao clicar em um diretório, podemos cavar e explorar cada um deles em uma perspectiva mais detalhada. Como exemplo, a imagem abaixo mostra os subdiretórios contidos no diretório denominado “vmw”.
E se continuarmos clicando nos subdiretórios, podemos chegar a detalhes no nível do arquivo. Desta vez, clicamos no subdiretório chamado “netapp-centos01”.
A próxima página em análise é Tendências de capacidade. A partir daqui, podemos obter todos os detalhes necessários para monitorar e gerenciar o tempo extra de uso da capacidade do cluster. As duas áreas principais aqui são Capacity History e Capacity Change. Essas capacidades incluem metadados, dados e instantâneos (excluídos apenas em Capacity Change). O histórico e as alterações da capacidade podem ser rapidamente filtrados por intervalos de tempo das últimas 72 horas, últimos 30 dias ou últimas 52 semanas. Essas são ótimas opções que ajudam os administradores de armazenamento a visualizar e gerenciar o cluster para dimensionamento e a explorar eventos significativos de alteração de capacidade.
A próxima seção que exploramos na guia Analytics é Atividade, onde podemos encontrar Pontos de acesso de taxa de transferência, Pontos de acesso de IOPS, Clientes e Caminhos. A página IOPS Hot Spots nos permite identificar os hotspots de entrada/saída por segundo em nosso sistema de armazenamento. O gráfico mostra os diretórios mais ativos em termos de operações de leitura/gravação de arquivos e metadados. O nível de detalhe desses dados pode ser ajustado usando o controle deslizante no canto superior direito do gráfico. Uma ótima opção para pausar a exibição também está disponível, no botão de opção Atualização automática.
Também podemos monitorar a atividade por cliente. A análise nos permite ver quais clientes são mais ativos em termos de taxa de transferência e IOPS.
E também, nublamos a atividade do monitor por caminho.
A próxima aba no menu principal é Compartilhamento, e aqui, a primeira página que analisamos é Cotas. Qumulo permite cotas de capacidade em tempo real, permitindo que os administradores especifiquem quanta capacidade um determinado diretório pode usar para arquivos. Nesta página, podemos criar, editar ou excluir cotas.
As próximas duas páginas são Exportações NFS e Compartilhamentos SMB que permitem que os clientes compartilhem dados armazenados em um diretório específico. Em NFS Exports, por exemplo, podemos criar novas exportações, bem como editá-las e excluí-las.
Em seguida no menu principal é Cluster. No menu Cluster, encontramos várias configurações e opções relacionadas ao cluster e ao sistema em geral. Na primeira página, Visão geral, temos informações vitais sobre a capacidade de nosso cluster e seus nós.
Ao clicar em um dos nós, podemos detalhar detalhes de hardware mais específicos. Como exemplo, clicamos no nó “sr-qumulo-1” para descobrir informações de rede relevantes e conduzir o estado de saúde.
No menu Cluster, também encontramos recursos críticos de armazenamento, como instantâneos e replicação. E mais opções, incluindo configuração de rede, renomear o cluster, adicionar um novo host ao cluster e muito mais. Além disso, configurar os protocolos FTP e SMB. Finalmente, neste menu, podemos gerenciar a autenticação e a autorização. A imagem abaixo mostra a página Usuários e grupos locais como exemplo.
Na guia APIs e ferramentas, podemos acessar a página Qumulo Core diretamente na interface do usuário. Aqui, podemos baixar wrappers da biblioteca do cliente python e CLI para a API Qumulo Core REST.
A última guia do menu é Suporte, e a primeira página que encontramos aqui é Qumulo Care, um serviço de monitoramento baseado em nuvem que podemos habilitar para enviar dados para Qumulo. Dessa forma, a equipe Qumulo poderia solucionar melhor e acelerar qualquer problema relacionado ao cluster.
Por fim, no menu, temos a página de atualização de software.
Conclusão
Para inovar, as organizações dependem de plataformas de dados não estruturadas e armazenamento com reconhecimento de dados, que são mal atendidos pelas soluções disponíveis. Nesta revisão, estudamos o Qumulo File System, desenvolvido para oferecer dados não estruturados em todos os ambientes. A Qumulo está entre os pioneiros em serviços de armazenamento com reconhecimento de dados e dados de arquivos em nuvem, com sua solução definida por software exclusiva para a nuvem híbrida.
Na última seção deste artigo, demos uma olhada na Web-UI do Qumulo. No passado, vimos uma visão geral das interfaces gráficas do usuário (GUI) de alguns dos dispositivos de servidor e armazenamento mais populares e, desta vez, ficamos entusiasmados em ver a nova GUI do Qumulo. À primeira vista, percebemos o design elegante dessa GUI, a excelente experiência do usuário e como ela é direta com as operações de gerenciamento do dia-a-dia do administrador.
No geral, o software da Qumulo fornece a seus clientes um conjunto excepcional de recursos, monitoramento e ferramentas de planejamento. O software simplifica a jornada para a nuvem. Ele oferece suporte à movimentação de dados com migração de nuvem lift-and-shift, ao mesmo tempo em que fornece análises poderosas em tempo real para detectar e obter informações imediatas sobre o que está acontecendo com nossos valiosos dados.
Envolva-se com a StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | Facebook | RSS feed
