GIGABYTE, un reconocido fabricante de sistemas y componentes de hardware relacionados con computadoras, se ha lanzado al mercado de almacenamiento de datos al asociarse con Bigtera para ofrecer una solución única de almacenamiento definida por software y de alto rendimiento. GIGABYTE suministra el hardware, combinándolo con la plataforma de software VirtualStor de Bigtera para ofrecer una gama de dispositivos de almacenamiento para satisfacer diferentes requisitos de capacidad y rendimiento. Si bien la mayoría de la gente estará familiarizada con GIGABYTE (que ha estado en el negocio por más de 30 años), Bigtera puede ser un nombre nuevo para algunos. Bigtera, fundada en 2012, cuenta con dos centros de desarrollo y más de cien clientes que ejecutan VirtualStor en entornos de producción.

Escalador VirtualStor

La familia Bigtera VirtualStor está compuesta por tres líneas de productos diferentes: Scaler, Converger y Extreme, cada una de las cuales es una solución de almacenamiento definida por software implementada en una arquitectura x86 estándar. Scaler es almacenamiento de datos para soluciones híbridas de escalabilidad horizontal; Converger es una solución de almacenamiento que se puede utilizar para crear una infraestructura hiperconvergente combinándola con VMware, Hyper-V o KVM; y Extreme es una solución de almacenamiento escalable all-flash diseñada para proporcionar E/S a aplicaciones que requieren una latencia baja constante y consumen una gran cantidad de ancho de banda. En esta inmersión profunda, examinaremos la solución VirtualStor Scaler.

VirtualStor Scaler es una solución de almacenamiento escalable, en lugar de una solución escalable o de infraestructura hiperconvergente (HCI), lo que significa que se pueden agregar más discos o nodos a un clúster de almacenamiento de VirtualStor Scaler a medida que se necesita más capacidad de almacenamiento. En otras palabras, obtiene la cantidad correcta de almacenamiento para su centro de datos que puede modificarse según las circunstancias actuales. Esta flexibilidad elimina efectivamente tanto el aprovisionamiento excesivo de hardware (un requisito de las soluciones de escalamiento vertical) como la necesidad de agregar más poder de cómputo (ya sea necesario o no) cuando se utiliza una solución de HCI.

Bastidor escalador VirtualStor

GIGABYTE ofrece seis plataformas diferentes para el sistema VirtualStor Scaler. En un extremo del espectro, optimizado para sus usuarios más pequeños, se encuentra un sistema con 48 TB de capacidad de almacenamiento utilizable que se compone de tres nodos de 1U. Por otro lado, para los clientes que necesitan manejar una gran cantidad de datos, hay un sistema que puede almacenar 4 PB de datos y está compuesto por ocho nodos de 4U. Para garantizar la calidad de estos sistemas, GIGABYTE utiliza sus propios servidores de primera línea que vienen equipados con doble CPU escalables Intel Xeon de segunda generación para satisfacer las necesidades informáticas de estos nodos de almacenamiento. Para el almacenamiento de datos, los dispositivos de almacenamiento VirtualStor utilizan una combinación de HDD y unidades de caché SSD NVMe o SATA. Para garantizar que los datos sigan fluyendo desde el dispositivo, los nodos utilizan Intel SFP+ y NIC, y la administración de nodos fuera de línea se logra con los controladores de administración remota Aspeed.

Compatibilidad con varios protocolos de VirtualStor
Protocolos de almacenamiento de VirtualStor Scaler

El centro de datos actual debe ofrecer almacenamiento para satisfacer las necesidades de un grupo diverso y exigente de usuarios de la manera más rápida y rentable posible. Para satisfacer las diversas necesidades de almacenamiento de un centro de datos, VirtualStor admite todos los protocolos de almacenamiento de uso común (NAS, SAN y almacenamiento de objetos) desde un solo grupo de almacenamiento unificado. Para garantizar que se cumplan los requisitos de rendimiento, el almacenamiento puede tener atributos de calidad de servicio (QoS) aplicados a archivos, carpetas o volúmenes. Las cuotas, que evitan que un usuario o una aplicación consuman en exceso el almacenamiento, se pueden aplicar por carpeta o volumen.

VirtualStor está diseñado para proporcionar de manera confiable y constante las necesidades de rendimiento de las aplicaciones más exigentes. Una de las formas en que han logrado esto es en cómo el motor de almacenamiento back-end de VirtualStor, BigteraStore, maneja la ubicación de los datos. BigteraStore utiliza dispositivos flash para el almacenamiento en caché de datos y para consolidar y fusionar pequeños bloques de datos en bloques secuenciales más grandes. Esto no solo tiene un gran impacto en el rendimiento de un sistema VirtualStor cuando se trata de datos aleatorios, sino que también aumenta la vida útil del dispositivo con menos escrituras en un dispositivo flash. BigteraStore también mejora el rendimiento de sus sistemas de almacenamiento mediante la identificación de datos secuenciales (que se entregan en bloques de datos más grandes) y leerá y escribirá estos datos directamente en sus discos duros. Dado que la transmisión de datos secuenciales directamente a un disco duro no sufre las mismas penalizaciones de rendimiento que la lectura y escritura de datos aleatorios en un disco duro, esto también preserva la capacidad de los costosos dispositivos flash para usar con datos aleatorios donde tiene el mayor impacto.

Caché SSD del escalador VirtualStor
Uso de Flash del escalador VirtualStor

La eficiencia, la protección y la resiliencia de los datos son tres factores que deben abordar las soluciones de almacenamiento modernas de hoy en día, y VirtualStor utiliza las técnicas y herramientas más recientes para brindar una solución sólida y eficiente para abordar estos factores.

La característica más importante de cualquier sistema de almacenamiento es la capacidad de proteger la integridad de los datos almacenados en él. Para hacer esto, VirtualStor admite la replicación de datos, la codificación de borrado, RAID, la detección de errores y la reparación automática de datos dañados. Como los datos se replican y equilibran en muchos nodos de almacenamiento diferentes, en el improbable caso de que falle un componente de hardware o un servidor, otro nodo de almacenamiento se hará cargo sin problemas y, en la mayoría de los casos, el usuario o la aplicación ni siquiera se darán cuenta de que se ha producido una falla. . Una vez que se haya identificado y reemplazado el componente defectuoso, se volverá a integrar automáticamente en el sistema. Puede proteger los datos confidenciales que necesitan la máxima protección en un VirtualStor mediante el uso de la tecnología de cifrado Intel AES-NI, pero, por supuesto, otros datos menos seguros se pueden dejar sin cifrar en el dispositivo de almacenamiento VirtualStor.

Descripción general de la arquitectura de VirtualStor Scaler

Un factor que la mayoría de los usuarios suele pasar por alto al decidir qué solución de almacenamiento elegir es la dificultad de crear el almacenamiento subyacente para su uso. El hecho de que todo el almacenamiento de VirtualStor, independientemente del tipo o protocolo, provenga de un solo grupo que se puede aprovisionar en exceso elimina de manera efectiva tanto la tarea que requiere mucho tiempo de reaprovisionar el almacenamiento subyacente para que esté disponible, como islas o silos, de almacenamiento que se han aprovisionado pero no se utilizan.

Panel de escalador de VirtualStor

El valor de una solución de almacenamiento puede minimizarse si su capacidad de administración es difícil o insatisfactoria, pero afortunadamente VirtualStor ha facilitado la administración de su almacenamiento al ofrecer una consola de administración intuitiva, moderna y basada en la web. En el pasado, hemos visto algunos sistemas de almacenamiento unificado heredados anunciados para tener una sola consola de administración, pero en una inspección más cercana, la consola de administración estaba compuesta solo por los componentes de administración de varios sistemas colocados como funciones en una consola de administración. Desafortunadamente, esta situación genera confusión, ya que se usan diferentes términos para los componentes de almacenamiento y se requieren diferentes flujos de trabajo según el tipo de almacenamiento que se administre, una forma complicada y desconcertante de manejar el almacenamiento, por decir lo menos.

También hemos visto sistemas de almacenamiento que requieren la interacción de la línea de comandos para completar tareas comunes donde una entrada incorrecta puede causar resultados catastróficos. Por el contrario, con los dispositivos VirtualStor, todos los flujos de trabajo relacionados con la administración diaria del sistema están basados en GUI y no requieren interacción con la línea de comandos. Además, como se diseñaron con soporte multiprotocolo desde el principio, no como una ocurrencia tardía, no están sobrecargados con la funcionalidad adicional heredada, lo que hace que la administración de VirtualStor sea intuitiva y sin errores.

Rendimiento del escalador VirtualStor

Más allá de ensamblar la solución y facilitar su operación, el clúster aún debe ofrecer un rendimiento que se adapte a los casos de uso de los clientes objetivo. Además, Bigtera ofrece soporte multiprotocolo, algo que aporta más flexibilidad a esta solución. Durante un período de varias semanas, probamos la solución con la siguiente configuración de hardware:

Nodos de cliente
- 1 x GIGABYTE H261-3C0 – 2U 4 nodos, se usaron 3 nodos para 3 servidores cliente
- Por nodo:
  - 2 CPU Xeon Gold 6140 (18 núcleos, 2.3 GHz)
  - 8 módulos de memoria DDR16 RDIMM de 2666 GB a 4 MHz
  - 1 x GIGABYTE CLNOQ42 Tarjeta LAN SFP+ OCP de dos puertos de 25 GB (QLogic FastLinQ QL41202-A2G)
  - 1 SSD SATA Seagate de 960 GB y 2.5"
Nodos de almacenamiento
- 3 x Servidores de almacenamiento GIGABYTE S451-3R0
- Por nodo:
  - 2 CPU Intel Xeon Silver 4114 (10 núcleos, 2.2 GHz)
  - 8 módulos de memoria DDR16 RDIMM de 2666 GB a 4 MHz
  - 36 unidades de disco duro Seagate Exos SATA de 8 TB y 3.5"
  - 2 unidades de estado sólido Adata SR3.84CP AIC de 2000 TB
  - 1 SSD SATA Seagate de 960 GB y 2.5"
  - 1 x GIGABYTE CLN4C44 4 puertos LAN SFP25 de 28 GbE (Mellanox ConnectX-4 Lx)
  - 1 x TARJETA RAID GIGABYTE HW CRA4648, GIGABYTE MR 3108 BBU

Como se señaló, la solución utiliza tanto discos duros como flash. Cada nodo utiliza un SSD Seagate de 960 GB para el arranque. Para el nivel de capacidad, GIGABYTE está utilizando Discos duros empresariales Seagate Exos de 8 TB, con 36 unidades por nodo de almacenamiento. Para obtener el mejor perfil de rendimiento de esta configuración, GIGABYTE utiliza un par de SSD Adata SR2000CP 3D eTLC por nodo de almacenamiento. Las tarjetas complementarias de 3.84 TB manejan las tareas de registro en diario y proporcionan el elemento de caché para el clúster. La familia SR2000CP viene en capacidades de hasta 11 TB, pero las tarjetas de 3.84 TB cumplen los objetivos de rendimiento (tasas de R/W de hasta 6000/3800 MB por segundo) y los objetivos de costo de este dispositivo.

En cuanto al rendimiento, es importante comprender cómo ven las empresas las plataformas SDS a gran escala. Por lo general, son excelentes para el rendimiento del protocolo de objetos, pero cuando desea aprovechar un protocolo más tradicional como iSCSI, se considera más como un caso de uso de "compatibilidad". Dicho de otro modo, funcionan, pero son mucho más lentos que los protocolos principales sobre los que se construyó la matriz de almacenamiento. Sin embargo, ese no es el caso con todas las plataformas, lo cual es parte de lo que hace que VirtualStor Scaler sea tan único. Para probar este punto, realizamos pruebas consecutivas, una aprovechando el protocolo RBD y otra con iSCSI. Vale la pena señalar que probar todos los protocolos compatibles con VirtualScaler estaba fuera del alcance de este artículo, ya que la lista es amplia (NFS, CIFS/SMB y S3 API).

Para los detalles de las pruebas, aprovechamos FIO para medir el rendimiento de 30 recursos compartidos RBD de 10 GB frente a 30 LUN iSCSI de 10 GB. Dividimos eso de nuestros tres sistemas cliente, cada uno accedía a 10 recursos compartidos o LUN. Luego, aplicamos una carga de trabajo de 1 subproceso por dispositivo de almacenamiento y una profundidad de cola de 16 (en conjunto con el clúster, esto resultó en 30 subprocesos cada uno con una carga de 16Q). Luego comparamos el rendimiento de grandes transferencias secuenciales, así como el tráfico aleatorio de 4K más pequeño.

En nuestra primera carga de trabajo que midió una transferencia secuencial de 1024 K, vimos un promedio de poco más de 1600 MB/s de lectura y 960 MB/s de escritura de cada uno de nuestros tres clientes que aprovechan iSCSI. En conjunto, esto resultó en 4.9 GB/s de lectura y 2.9 GB/s de escritura. Aprovechando RBD, observamos un tráfico de escritura similar de más de 960 MB/s por cliente, pero el rendimiento de lectura fue superior a más de 2700 MB/s por cliente. En conjunto, los totales de RBD midieron 8.1 GB/s de lectura y 2.9 GB/s de escritura.

Al reducir el tamaño de nuestra carga de trabajo a una transferencia secuencial de 128k, nuevamente vimos un equilibrio similar entre el rendimiento de iSCSI y RBD. Al usar iSCSI, cada cliente vio alrededor de 440 MB/s de escritura y 1600 MB/s de lectura, lo que resultó en un total de 1.3 GB/s de escritura y 4.9 GB/s de lectura. Centrándonos en RBD, observamos un rendimiento de escritura ligeramente inferior de más de 410 MB/s por cliente y un rendimiento de lectura superior de más de 2500 MB/s por cliente. Esto resultó en un total de 1.2 GB/s de escritura y 7.8 GB/s de lectura en RBD.

Cambiando nuestro enfoque a un rendimiento de transferencia aleatoria más pequeño, nos enfocamos en nuestra prueba 4K. Al observar ambos protocolos en escritura aleatoria de 4K, iSCSI y RBD ofrecieron un rendimiento similar de más de 23 71 IOPS por cliente o aproximadamente 64 193 IOPS en conjunto, con una ventaja hacia RBD. En cuanto al rendimiento de lectura, vimos iSCSI con alrededor de 97 291 IOPS por cliente o XNUMX XNUMX IOPS en total, y RBD con XNUMX XNUMX IOPS por cliente o XNUMX XNUMX IOPS en total.

Centrándonos en la latencia promedio en nuestras pruebas de transferencia aleatoria de 4K, con una carga de clúster agregada de 30 subprocesos y 16 colas por subproceso, medimos un poco más de 6.7 ms de escritura para transferencias iSCSI y RBD, con RBD con una pequeña ventaja. En las transferencias de lectura, el rendimiento de RBD tuvo una mayor ventaja, midiendo 1.647 ms en total, en comparación con los 2.489 ms agregados de iSCSI.

Resumen Final

VirtualStor Scaler es una solución definida por software flexible y escalable que se ejecuta en servidores x86 estándar de la industria y ofrece almacenamiento de archivos, bloques u objetos. En este caso, hemos combinado clientes y nodos de almacenamiento de GIGABYTE para resaltar la facilidad de administración y el soporte multiprotocolo de la solución convergente. También es importante resaltar la resiliencia disponible en la plataforma. Eso se debe en gran parte a los fundamentos de Ceph de VirutalStor. Bigtera prefiere no liderar con ese mensaje, porque a menudo se supone que Ceph ofrece fantásticas funciones de protección de datos, pero carece de la capacidad de contar una historia de rendimiento y flexibilidad, los cuales son críticos en la mayoría de las aplicaciones de almacenamiento empresarial. En nuestro tiempo con VirtualStor Scaler, nos impresionó continuamente la capacidad de ofrecer un rendimiento iSCSI muy sólido junto con la interfaz de bloque RADOS. Agregue el hecho de que hay una buena GUI en la parte superior, lo cual es útil para aquellos que prefieren no jugar con CLI: Bigtera lo ha hecho bien aquí. La solución VirtualStor es claramente capaz de ser mucho más que un almacén de datos para implementaciones típicas de análisis, HPC y AI/ML. La empresa haría bien en considerar esto como un reemplazo directo para una amplia variedad de casos de uso, desde la nube local hasta la consolidación del almacenamiento y las cargas de trabajo virtualizadas más típicas, gracias a la flexibilidad de la solución.

Página de producto del escalador VirtualStor de GIGABYTE