O Quantum Myriad™ é uma nova plataforma de software de armazenamento de objetos e arquivos expansível totalmente flash para cargas de trabalho corporativas modernas. A arquitetura nativa da nuvem Myriad é uma solução fácil de usar projetada para superar as limitações de projetos centrados em hardware, permitindo que os clientes se adaptem às futuras necessidades de armazenamento, reduzindo a carga sobre a equipe de TI.
O Quantum Myriad™ é uma nova plataforma de software de armazenamento de objetos e arquivos expansível totalmente flash para cargas de trabalho corporativas modernas. A arquitetura nativa da nuvem Myriad é uma solução fácil de usar projetada para superar as limitações de projetos centrados em hardware, permitindo que os clientes se adaptem às futuras necessidades de armazenamento, reduzindo a carga sobre a equipe de TI.
O Quantum Myriad é uma oferta totalmente nova da empresa, encaixando-se ao lado de uma variedade de outros dispositivos de armazenamento e soluções de arquivamento. O Myriad é diferente porque é uma arquitetura sem compartilhamento projetada para as tecnologias flash mais recentes para fornecer desempenho consistente de baixa latência em qualquer escala.
Mesmo sendo novo, o Quantum está sendo lançado com um conjunto robusto de serviços de dados em linha, como desduplicação, compactação, instantâneos, clones e marcação de metadados, projetados para acelerar o processamento de dados AI/ML. Operacionalmente, tecnologias de nuvem conhecidas e comprovadas, como microsserviços e Kubernetes, são usadas para oferecer simplicidade de nuvem. Por fim, a Quantum projetou o Myriad para ser uma plataforma de gerenciamento de rede, cluster e armazenamento sem toque que é simples de expandir, alterar e reduzir o sistema sem interrupção.
Brian Pawlowski, diretor de desenvolvimento da Quantum, disse:
“Para acompanhar o crescimento dos dados, a indústria “jogou o hardware” no problema. Integrando o feedback de clientes, parceiros e analistas do setor sobre o que falta nas soluções atuais do mercado, adotamos uma abordagem totalmente diferente com o Myriad, e o resultado é a arquitetura que eu queria construir há 20 anos. O Myriad é um software de armazenamento incrivelmente simples e adaptável para um futuro imprevisível.”
Software Miríade Quântica
O software Myriad é executado em servidores de armazenamento x86 padrão, facilitando a adoção do hardware mais recente pelas equipes de TI. É claro que isso inclui o que há de mais moderno em fatores de forma de armazenamento, tecnologias NAND e interfaces para necessidades futuras, além de novas opções de E/S e possíveis placas aceleradoras no futuro.
Típico da maioria dos softwares, o Myriad compreende muitos componentes que interagem para fornecer funções internas e serviços voltados para o cliente, neste caso, armazenar e recuperar arquivos e objetos. Os componentes e funções de software são típicos de um modelo em camadas, paralelamente ao fluxo de dados através do sistema. A Quantum descreve as camadas como, de cima para baixo, clientes, serviços de dados, sistemas de arquivos e armazenamento de chave/valor transacional. Cada camada e componente é projetado para reduzir a latência e maximizar o paralelismo.
Olhando para cada componente individualmente, é fácil ver que executá-los em paralelo faz sentido, oferecendo melhor desempenho e funcionalidade. Vamos dividi-lo começando no topo da pilha.
Os componentes do cliente incluem o processo do servidor NFS, SMB, S3, serviços proprietários e serviços GPU-Direct. A interface dos componentes do cliente com uma instância do sistema de arquivos personalizado Myriad. Um número arbitrário de sistemas de arquivos pode ser definido, cada um com uma ou mais camadas de apresentação associadas. É possível ter um sistema de arquivos definido com apresentações NFS e S3, permitindo acesso aos mesmos dados de arquivos e objetos. Sem limite para o número de sistemas de arquivos, eles podem ser provisionados para atender às necessidades de negócios.
A camada de serviços de dados suporta itens como compactação e desduplicação em linha sempre ativa, instantâneos e clones. A camada do sistema de arquivos é totalmente distribuída e combinável, onde pode ser um sistema de arquivos por usuário ou aplicativo.
O armazenamento de valor-chave transacional é o repositório central para todos os dados e metadados. Este é o coração do sistema e é distribuído por todos os nós de armazenamento em um cluster Myriad e linearmente à medida que os nós são adicionados ao cluster. O armazenamento de valor-chave armazena dados nos SSDs NVMe usando um esquema de codificação de eliminação dinâmico exclusivo (EC) que se ajusta a eventos em tempo real, mantendo a proteção e maximizando a eficiência.
Arquitetura de Cluster Miríade
O Myriad foi projetado como um software flexível, autocorretivo e autobalanceado que permite atualizações em serviço, reconstruindo e reparando automaticamente os dados em segundo plano enquanto reequilibra os dados enquanto o cluster de armazenamento se ajusta às necessidades do cliente. Com a inteligência para detectar, implantar e configurar nós de armazenamento automaticamente em um cluster para que o cluster possa ser dimensionado, modificado ou reduzido sem intervenção, os administradores de TI podem se concentrar em outras funções importantes.
Embora o software Myriad seja projetado para rodar em qualquer lugar, a versão inicial é oferecida em ferro quântico. A arquitetura do cluster Myriad é ilustrada na imagem abaixo.
Portal de gerenciamento Myriad
O portal on-line seguro fornece monitoramento em tempo real da integridade do sistema, desempenho e tendências de capacidade, conectando-se ao software AI Operations baseado em nuvem da Quantum. Não há necessidade de dedicar um servidor de gerenciamento para executar o cluster Myriad. O Myriad oferece segurança de dados simples e recuperação de ransomware com instantâneos integrados, clones, ferramentas de recuperação de instantâneos e recursos de reversão.
Inúmeras especificações de hardware
A Quantum definiu os requisitos de hardware para cada componente do cluster para facilitar a seleção do hardware de sua escolha. Conforme mencionado, a versão inicial será oferecida em aparelhos fornecidos pela Quantum. Os requisitos de hardware são diretos e não incluem nada fora do comum.
Especificações do nó de armazenamento
O nó de armazenamento é um servidor padrão que fornece serviços de computação e armazenamento. No GA, um cluster é composto de cinco a dez servidores de armazenamento. O dispositivo 1U é executado em uma CPU de 64 núcleos com 512 GB de RAM, com suporte para PCIe Gen4. Cada servidor oferece suporte a dez unidades TLC de porta única de 15.36 TB em GA. A conectividade de rede é feita por meio de quatro portas de 100 GbE e o gerenciamento é fornecido por meio de um RJ-1 de 45 GbE. O dispositivo Quantum possui potência dupla e conjuntos de ventiladores redundantes.
Os nós de armazenamento NVMe estão no centro do cluster, abrigam os SSDs e executam software e serviços Myriad.
Especificações do nó do balanceador de carga
Este é um switch bastante genérico que conecta o cluster à rede do cliente e equilibra o tráfego de entrada para o cluster e dentro do cluster. O cluster requer dois switches 1U com 32 portas de rede de 100 GbE e uma porta de gerenciamento RJ-1 de 45 GbE. Os switches da Quantum terão alimentação dupla e ventiladores redundantes.
Especificações do nó de implantação
Este nó implementa software e configura outros nós no cluster. O nó de implantação não está no caminho de dados. Cada cluster requer um nó de implementação. Esses nós são configurados com 48 portas de 1 GbE, uma porta de gerenciamento RJ-1 de 45 GbE e, como os outros dispositivos, possuem alimentação dupla e ventiladores redundantes.
O nó de implantação é responsável pela implantação e manutenção do cluster, incluindo instalação inicial, expansão de capacidade e atualizações de software.
Uma miríade de redes
Inúmeros nós conectam mais de 100 GbE projetados para serem simples. Há pouco para o cliente fazer, exceto conectar fisicamente a rede. Vários nós são configurados automaticamente e não requerem hardware adicional ou interação com o cliente. O Myriad fornece uma GUI intuitiva para funções de configuração e controle, e o monitoramento SNMP e sFlow também é suportado.
Os nós do cluster são interconectados por meio de duas redes: uma rede sem perdas de 100 GbE com RDMA para dados e tráfego de gerenciamento e uma rede de 1 GbE para tarefas de implantação. Na instalação, há a opção de fornecer uma sub-rede não roteável para a rede interna ou aceitar o padrão 172.16/16. As interfaces internas para todos os nós do cluster e pods do Kubernetes recebem endereços desse intervalo. Quaisquer novos nós adicionados ao cluster recebem automaticamente um endereço da sub-rede selecionada.
Os nós do Load Balancer usam NAT para isolar a rede interna do cluster da rede do datacenter. Os nós do Load Balancer usam o roteamento Equal Cost MultiPath (ECMP) para espalhar as conexões de entrada pelos nós de armazenamento. A rede externa Myriad usa o protocolo de roteamento Border Gateway Protocol (BGP), simplificando as conexões com uma rede externa. Os switches do cliente exigem que as portas voltadas para o Myriad sejam configuradas para BGP não numerado com ECMP.
Miríade na nuvem
Embora a versão inicial seja oferecida em dispositivos dedicados, a arquitetura foi projetada para implantar o Myriad em uma infraestrutura de nuvem pública como a AWS. As implantações em nuvem para Myriad podem aproveitar os serviços subjacentes da plataforma em nuvem, mas o software e a experiência geral serão os mesmos.
Para implantações em nuvem, como o software Myriad é executado em um cluster Kubernetes, o Myriad usará serviços Kubernetes em nuvem, como AWS EKS. A função de balanceador de carga Myriad usará rede em nuvem e serviços de balanceamento de carga.
Impacto no mercado
A Myriad expande o portfólio de soluções da Quantum para dados não estruturados. É adequado para casos de uso emergentes que exigem mais desempenho e escala, incluindo AI/ML, data lakes, renderização de VFX e animação e outros aplicativos de alta largura de banda e IOPs altos.
Embora existam provavelmente dezenas de soluções voltadas para essas cargas de trabalho, poucas foram desenvolvidas desde o início nos tempos modernos. Teria sido mais fácil para a Quantum pegar uma de suas soluções existentes, aplicar uma nova camada de batom, como uma interface de armazenamento de contêiner, e chamá-la de nova solução. Mas a Quantum optou por assumir um risco substancial para chegar ao mercado com uma solução totalmente nova, projetada desde o início. A Quantum está muito feliz com o resultado líquido, ao mesmo tempo em que reconhece que há mais trabalho a ser feito para trazer recursos para o Myriad à medida que os clientes começam a praticar e acumular seus comentários.
Falando em hands-on, pretendemos visitar um data center da Quantum com o kit Myriad muito em breve, já agendamos uma visita. Para aqueles que mal podem esperar pelo nosso relatório completo, o Quantum Myriad já está disponível para clientes com acesso antecipado e está planejado para GA no terceiro trimestre deste ano.
Envolva-se com a StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed
