Quantum Myriad™ es una nueva plataforma de software de almacenamiento de objetos y archivos all-flash escalable para cargas de trabajo empresariales modernas. La arquitectura nativa de la nube de Myriad es una solución fácil de usar diseñada para superar las limitaciones de los diseños centrados en el hardware, lo que permite a los clientes adaptarse a las necesidades futuras de almacenamiento y reducir la carga del personal de TI.
Quantum Myriad™ es una nueva plataforma de software de almacenamiento de objetos y archivos all-flash escalable para cargas de trabajo empresariales modernas. La arquitectura nativa de la nube de Myriad es una solución fácil de usar diseñada para superar las limitaciones de los diseños centrados en el hardware, lo que permite a los clientes adaptarse a las necesidades futuras de almacenamiento y reducir la carga del personal de TI.
Quantum Myriad es una oferta completamente nueva de la compañía, que se ubica junto con una variedad de otros dispositivos de almacenamiento y soluciones de archivo. Myriad es diferente en el sentido de que es una arquitectura de nada compartido diseñada para las últimas tecnologías flash a fin de ofrecer un rendimiento constante de baja latencia a cualquier escala.
Aunque es completamente nuevo, Quantum se lanza con un sólido conjunto de servicios de datos en línea como deduplicación, compresión, instantáneas, clones y etiquetado de metadatos diseñados para acelerar el procesamiento de datos de IA/ML. Desde el punto de vista operativo, se utilizan tecnologías en la nube familiares y comprobadas, como microservicios y Kubernetes, para brindar simplicidad en la nube. En última instancia, Quantum ha diseñado Myriad para que sea una plataforma de administración de redes, clústeres y almacenamiento sin contacto que es fácil de expandir, cambiar y reducir el sistema sin interrupciones.
Brian Pawlowski, director de desarrollo de Quantum, dijo:
“Para seguir el ritmo del crecimiento de los datos, la industria ha “arrojado hardware” al problema. Al integrar los comentarios de clientes, socios y analistas de la industria sobre lo que falta en las soluciones actuales del mercado, adoptamos un enfoque totalmente diferente con Myriad y el resultado es la arquitectura que he querido construir durante 20 años. Myriad es un software de almacenamiento increíblemente simple e increíblemente adaptable para un futuro impredecible”.
Software Quantum Myriad
El software Myriad se ejecuta en servidores de almacenamiento x86 estándar, lo que facilita que los equipos de TI adopten el hardware más reciente. Esto, por supuesto, incluye lo último en factores de forma de almacenamiento, tecnologías NAND e interfaces para necesidades futuras junto con nuevas opciones de E/S y posibles tarjetas aceleradoras en el futuro.
Típico de la mayoría del software, Myriad comprende muchos componentes que interactúan para proporcionar funciones internas y servicios orientados al cliente, en este caso, almacenar y recuperar archivos y objetos. Los componentes y funciones del software son típicos de un modelo en capas, paralelo al flujo de datos a través del sistema. Quantum representa las capas como, de arriba a abajo, clientes, servicios de datos, sistemas de archivos y almacén de clave/valor transaccional. Cada capa y componente está diseñado para reducir la latencia y maximizar el paralelismo.
Al observar cada componente individualmente, es fácil ver que ejecutarlos en paralelo tiene sentido, ya que ofrece un mejor rendimiento y funcionalidad. Vamos a dividirlo comenzando en la parte superior de la pila.
Los componentes del cliente incluyen el proceso del servidor NFS, SMB, S3, servicios propietarios y servicios GPU-Direct. Los componentes del cliente interactúan con una instancia del sistema de archivos Myriad personalizado. Se puede definir un número arbitrario de sistemas de archivos, cada uno con una o más capas de presentación asociadas. Es posible tener un sistema de archivos definido con presentaciones NFS y S3 que permitan el acceso a los mismos datos como archivos y objetos. Sin límite en la cantidad de sistemas de archivos, se pueden aprovisionar para satisfacer las necesidades comerciales.
La capa de servicios de datos admite cosas como deduplicación y compresión en línea siempre activas, instantáneas y clones. La capa del sistema de archivos está completamente distribuida y se puede componer, donde podría ser un sistema de archivos por usuario o aplicación.
El almacén de clave-valor transaccional es el repositorio central de todos los datos y metadatos. Este es el corazón del sistema y se distribuye entre todos los nodos de almacenamiento en un clúster Myriad y linealmente a medida que se agregan nodos al clúster. El almacén de clave-valor almacena datos en los SSD NVMe utilizando un esquema de codificación de borrado dinámico (EC) único que se ajusta a los eventos en tiempo real, manteniendo la protección y maximizando la eficiencia.
Arquitectura de innumerables clústeres
Myriad está diseñado como un software flexible, autorrecuperable y autoequilibrante que permite actualizaciones en servicio, reconstrucción y reparación automáticas de datos en segundo plano mientras reequilibra los datos mientras el clúster de almacenamiento se ajusta a las necesidades del cliente. Con la inteligencia para detectar, implementar y configurar automáticamente los nodos de almacenamiento dentro de un clúster para que el clúster pueda escalar, modificar o reducirse sin intervención, los administradores de TI pueden concentrarse en otras funciones importantes.
Aunque el software Myriad está diseñado para ejecutarse en cualquier lugar, la versión inicial se ofrece en Quantum iron. La arquitectura del clúster Myriad se ilustra en la siguiente imagen.
Portal de administración innumerable
El portal en línea seguro proporciona monitoreo en tiempo real del estado del sistema, el rendimiento y las tendencias de capacidad al conectarse al software de operaciones de IA basado en la nube de Quantum. No es necesario dedicar un servidor de administración para ejecutar el clúster Myriad. Myriad ofrece seguridad de datos simple y recuperación de ransomware con instantáneas integradas, clones, herramientas de recuperación de instantáneas y capacidades de reversión.
Innumerables especificaciones de hardware
Quantum ha definido los requisitos de hardware para cada componente del clúster para facilitar la selección del hardware de elección. Como se mencionó, la versión inicial se ofrecerá en dispositivos proporcionados por Quantum. Los requisitos de hardware son sencillos y no incluyen nada fuera de lo común.
Especificaciones del nodo de almacenamiento
El nodo de almacenamiento es un servidor estándar que proporciona servicios de cómputo y almacenamiento. En GA, un clúster se compone de cinco a diez servidores de almacenamiento. El dispositivo 1U se ejecuta en una CPU de 64 núcleos con 512 GB de RAM, compatible con PCIe Gen4. Cada servidor admite diez unidades TLC de un solo puerto de 15.36 TB en GA. La conectividad de red se realiza a través de cuatro puertos de 100 GbE y la gestión se realiza a través de un RJ-1 de 45 GbE. El dispositivo Quantum cuenta con conjuntos de ventiladores redundantes y de alimentación dual.
Los nodos de almacenamiento NVMe están en el núcleo del clúster, albergan los SSD y ejecutan el software y los servicios de Myriad.
Especificaciones del nodo del equilibrador de carga
Este es un conmutador bastante genérico que conecta el clúster a la red del cliente y equilibra el tráfico entrante al clúster y dentro del clúster. El clúster requiere dos conmutadores 1U con 32 puertos de red de 100 GbE y un puerto de administración RJ-1 de 45 GbE. Los conmutadores de Quantum tendrán doble alimentación y ventiladores redundantes.
Especificaciones del nodo de implementación
Este nodo implementa software y configura otros nodos en el clúster. El nodo de implementación no está en la ruta de datos. Cada clúster requiere un nodo de implementación. Estos nodos están configurados con 48 puertos de 1 GbE, un puerto de gestión RJ-1 de 45 GbE y, al igual que los demás dispositivos, tienen doble alimentación y ventiladores redundantes.
El nodo de implementación es responsable de la implementación y el mantenimiento del clúster, incluida la instalación inicial, la expansión de la capacidad y las actualizaciones de software.
innumerables redes
Innumerables nodos se conectan a través de 100 GbE que está diseñado para ser simple. El cliente tiene poco que hacer excepto conectarse físicamente a la red. Los innumerables nodos se configuran automáticamente y no requieren hardware adicional ni interacción con el cliente. Myriad proporciona una interfaz gráfica de usuario intuitiva para las funciones de configuración y control, y también admite la supervisión de SNMP y sFlow.
Los nodos del clúster están interconectados a través de dos redes: una red sin pérdidas de 100 GbE con RDMA para tráfico de administración y datos y una red de 1 GbE para tareas de implementación. En la instalación, existe la opción de proporcionar una subred no enrutable para la red interna o aceptar el 172.16/16 predeterminado. A las interfaces internas de todos los nodos del clúster y los pods de Kubernetes se les asignan direcciones de este rango. A todos los nodos nuevos agregados al clúster se les asigna automáticamente una dirección de la subred seleccionada.
Los nodos de Load Balancer usan NAT para aislar la red interna del clúster de la red del centro de datos. Los nodos de Load Balancer utilizan el enrutamiento de rutas múltiples de igual costo (ECMP) para distribuir las conexiones entrantes entre los nodos de almacenamiento. Myriad external networking utiliza el protocolo de enrutamiento Border Gateway Protocol (BGP) que simplifica las conexiones a una red externa. Los conmutadores de los clientes requieren que los puertos orientados a Myriad estén configurados para BGP sin numerar con ECMP.
innumerables en la nube
Aunque la versión inicial se ofrece en dispositivos dedicados, la arquitectura está diseñada para implementar Myriad en una infraestructura de nube pública como AWS. Las implementaciones en la nube para Myriad pueden aprovechar los servicios de la plataforma en la nube subyacente, pero el software y la experiencia general serán los mismos.
Para las implementaciones en la nube, dado que el software de Myriad se ejecuta en un clúster de Kubernetes, Myriad utilizará los servicios de Kubernetes en la nube, como AWS EKS. La función de balanceador de carga de Myriad utilizará servicios de balanceo de carga y redes en la nube.
Impacto en el mercado
Myriad amplía la cartera de soluciones de Quantum para datos no estructurados. Es adecuado para casos de uso emergentes que requieren más rendimiento y escala, incluidos AI/ML, lagos de datos, representación de VFX y animación, y otras aplicaciones de alto ancho de banda y alto IOP.
Si bien es probable que haya docenas de soluciones dirigidas a estas cargas de trabajo, hay muy pocas que se hayan desarrollado desde cero en los tiempos modernos. Hubiera sido más fácil para Quantum tomar una de sus soluciones existentes, aplicar una nueva capa de lápiz labial, como una interfaz de almacenamiento de contenedores, y llamarlo una nueva solución. Pero Quantum optó por asumir una cantidad sustancial de riesgo para salir al mercado con una solución completamente nueva, diseñada desde cero. Quantum está muy contento con el resultado neto, aunque también reconoce que hay más trabajo por hacer para traer funciones a Myriad a medida que los clientes comienzan a participar y acumulan sus comentarios.
Hablando de práctica, tenemos la intención de visitar un centro de datos Quantum con el kit Myriad muy pronto, ya hemos programado una visita. Para aquellos que no pueden esperar a nuestro informe completo, Quantum Myriad ya está disponible para clientes de acceso anticipado y está planificado para GA en el tercer trimestre de este año.
Interactuar con StorageReview
Boletín | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed
