Inicio EmpresaAI Quantum Myriad: arquitectura moderna para cualquier carga de trabajo, especialmente IA

Quantum Myriad: arquitectura moderna para cualquier carga de trabajo, especialmente IA

by Brian Beeler

Quantum Myriad es una plataforma SDS moderna y flexible capaz de manejar una amplia variedad de cargas de trabajo, incluidas tareas exigentes de IA.

En 2023, Quantum lanzó una versión nueva y moderna del almacenamiento definido por software con Myriad. Completamos un inmersión profunda en Myriad a finales del año pasado y quedamos impresionados con su arquitectura extremadamente capaz y resistente. El conjunto diverso de funciones y la flexibilidad de protocolos de Myriad amplían el alcance de sus casos de uso más allá de las necesidades de intercambio de archivos empresariales. Y no hay ninguna aplicación con más demanda en este momento que la IA.

innumerables nodos cuánticos apretados

La IA está transformando fundamentalmente el panorama empresarial al aportar nuevos conocimientos para la toma de decisiones, automatizar procesos complejos y crear nuevas formas para que las empresas interactúen con los clientes y gestionen las operaciones. A continuación se presentan algunas áreas clave en las que la IA está teniendo un impacto:

Automatización : La IA automatiza tareas rutinarias y propensas a errores, como la entrada de datos y la atención al cliente con chatbots, e incluso encuentra formas de optimizar procesos complejos como la gestión de la cadena de suministro. Esto ahorra tiempo y permite que las personas se concentren en tareas más creativas o estratégicas.

Análisis de Datos: Explora enormes cantidades de datos para encontrar patrones e ideas más rápido que cualquier ser humano. Esto ayuda a las empresas a tomar decisiones más inteligentes, predecir las tendencias del mercado y comprender mejor a sus clientes.

Personalización: Las empresas utilizan la IA para adaptar sus servicios y marketing a clientes individuales, como motores de recomendación que aprenden lo que le gusta a un usuario tal como se ve en Netflix o Spotify.

Seguridad mejorada: La IA es un actor importante en la ciberseguridad, ya que ayuda a detectar y responder a las amenazas al instante. Siempre está en guardia, buscando cualquier cosa sospechosa.

Innovación: La IA impulsa la innovación al ayudar a desarrollar nuevos productos y servicios, desde medicamentos hasta nuevos materiales, mediante la simulación de cada aspecto del diseño, la apariencia y el mantenimiento de un producto. Incluso puede predecir los resultados antes de los ensayos físicos de medicamentos.

Los desafíos de la escalabilidad y la flexibilidad

Los sistemas de almacenamiento heredados a menudo no logran escalar de manera eficiente, una capacidad crucial para las aplicaciones de IA que generan y procesan grandes volúmenes de datos. El almacenamiento tradicional puede requerir un tiempo de inactividad significativo o actualizaciones complejas y configuración y asignación de redes para aumentar la capacidad. Esto no es factible en entornos dinámicos de IA, que requieren una rápida escalabilidad, cero tiempo de inactividad e implementación de modelos sin perder rendimiento.

Las cargas de trabajo de IA también exigen un alto rendimiento y baja latencia simultáneamente. Los sistemas heredados, generalmente equipados con unidades mecánicas y redes obsoletas, no pueden cumplir con estos requisitos de velocidad, lo que genera cuellos de botella que impiden las operaciones de IA. La IA moderna se beneficia enormemente de tecnologías más rápidas como NVMe y la aceleración de GPU, que a menudo son incompatibles con sistemas más antiguos.

Las aplicaciones de IA requieren acceso y análisis de datos en tiempo real de diversas fuentes. El almacenamiento heredado, a menudo aislado, dificulta la integración y el movimiento de datos, lo que limita el análisis de datos y el aprendizaje automático efectivos. Las herramientas de gestión heredadas también luchan con la compleja gestión de datos y la organización por niveles automatizada necesaria para la IA.

El mantenimiento y las actualizaciones del almacenamiento heredado también son costosos e ineficientes para las demandas de IA, incluidos los altos costos operativos de energía, refrigeración y espacio. La modernización de sistemas antiguos para soportar nuevas tecnologías es económicamente insostenible.

La IA se nutre de funciones de almacenamiento modernas, como niveles automatizados, análisis en tiempo real y medidas de seguridad sólidas como el cifrado. Los sistemas heredados carecen de estas capacidades críticas, que son esenciales para proteger los datos de IA y cumplir con los estándares regulatorios.

Modernizar las infraestructuras de almacenamiento y gestión de datos es vital para aprovechar el potencial transformador de la IA. Las soluciones de almacenamiento de próxima generación diseñadas para las complejidades de la IA pueden mejorar significativamente el rendimiento, la escalabilidad y la rentabilidad, fomentando aplicaciones y modelos de negocio innovadores.

Conozca Quantum Myriad

Quantum Myriad es una solución de almacenamiento totalmente flash definida por software y de alto rendimiento diseñada para satisfacer las demandas de las aplicaciones modernas, en particular aquellas que requieren un alto rendimiento y baja latencia. Esto es especialmente cierto para la inteligencia artificial, la ciencia de datos, los efectos visuales y la animación. La arquitectura nativa de la nube de Myriad brinda flexibilidad, facilidad de implementación y respuestas automáticas a los cambios del sistema, ya sea en las instalaciones o en un entorno de nube pública como AWS.

El diseño de Myriad se centra en ofrecer una baja latencia constante y un gran ancho de banda. Estas cualidades son absolutamente imprescindibles para aplicaciones que exigen un procesamiento de datos ultrarrápido y rendimiento en tiempo real.

La arquitectura de Myriad es muy flexible y se adapta sin esfuerzo a implementaciones grandes y pequeñas. Es fácil comenzar con un sistema pequeño y luego hacer crecer un clúster Myriad. A medida que agrega más nodos, aumenta linealmente y al mismo tiempo mantiene la eficiencia y el equilibrio.

Administrar clústeres con Myriad es simple. Viene repleto de características como expansiones de almacenamiento sin hacer clic y un portal de administración fácil de usar, que ayudan a reducir la necesidad de atención administrativa constante. Myriad cubre la integridad de los datos con un almacén transaccional de valores clave distribuido entre sus nodos y la corrección de errores se gestiona en todos los nodos de almacenamiento disponibles.

Myriad viene con un impresionante soporte de redes. Con soporte para RDMA sobre Ethernet convergente (RoCE) y la integración con implementaciones de red existentes a través de enrutamiento BGP, los datos pueden fluir sin esfuerzo dentro y fuera del clúster Myriad mientras se aprovechan las capacidades de red avanzadas.

Myriad está diseñado para ser fácil de usar y requiere pasos mínimos para configurarlo y ejecutarlo o agregar ubicaciones adicionales para compartir. Esto lo hace perfecto para empresas que necesitan adaptarse rápidamente a las cambiantes necesidades de almacenamiento, especialmente porque la solución se ejecuta en servidores estándar disponibles en el mercado. Además, si está pensando en la nube, Myriad funciona bien con plataformas como AWS para que pueda ir más allá de su configuración local.

Configuración Quantum Myriad según lo probado

El Quantum Myriad probado tenía una configuración básica de cinco nodos. Cada nodo estaba equipado con diez SSD de 15 TB, lo que sumaba una cantidad significativa de almacenamiento de acceso rápido en todo el clúster. Esta configuración básica permitió una capacidad sustancial de almacenamiento de datos y al mismo tiempo mantuvo la velocidad necesaria para operaciones de E/S elevadas y recuperación rápida de datos, todo ello esencial para el procesamiento en tiempo real y los cálculos de IA. Los nodos de almacenamiento se especifican y configuran desde SuperMicro y las unidades NVMe están disponibles en Samsung.

Según las pruebas, utilizamos una plataforma Myriad configurada en un clúster de 5 nodos, cada uno con las siguientes especificaciones clave:

  • Nodo de almacenamiento Quantum Myriad N1010 con una única CPU AMD EPYC de 64 núcleos
  • 10 unidades NVMe TLC de 15.36 TB
  • 2 puertos Ethernet de 100 GbE de doble puerto

Una parte integral de Myriad son los nodos equilibradores de carga implementados en un par redundante interconectado entre todos los nodos de almacenamiento. Estos son fundamentales para gestionar el tráfico de datos hacia y desde los nodos de almacenamiento. El par de equilibradores de carga garantiza que el tráfico de la red se distribuya uniformemente entre los nodos de almacenamiento, evitando que cualquier nodo se convierta en un cuello de botella. Cuando se requiere acceso y procesamiento simultáneo de datos, esto es extremadamente importante en entornos donde la velocidad y la confiabilidad del acceso a los datos pueden afectar significativamente el rendimiento general del sistema.

El uso de múltiples nodos y equilibradores de carga aumenta el rendimiento y mejora la confiabilidad y la tolerancia a fallas del sistema. La distribución del almacenamiento y la carga de la red permite que el sistema continúe funcionando de manera eficiente incluso si un nodo encuentra problemas. Esta configuración es esencial para mantener el tiempo de actividad y garantizar la integridad de los datos en aplicaciones comerciales críticas.

La configuración básica está diseñada para ser flexible y puede ampliarse agregando más nodos de almacenamiento según sea necesario. Puede ampliar su capacidad de almacenamiento incorporando nodos adicionales, utilizando unidades NVMe más densas o ambas. Por ejemplo, podría agregar un nuevo nodo de almacenamiento equipado con unidades de 30 TB a un sistema que actualmente utiliza unidades de 15 TB, o podría actualizar a módulos de unidades más densos dentro del espacio existente. Esta escalabilidad es esencial para las empresas que esperan ver un crecimiento en sus necesidades de datos o experimentar patrones de uso de datos variables.

Servidores de generación de carga GPU de Comino

Para ejercitar el sistema Myriad y generar nuestros puntos de referencia, utilizamos un par de sistemas Comino Grando. Los sistemas Comino Grando son configuraciones de alto rendimiento con refrigeración líquida diseñadas específicamente para maximizar la eficiencia y la estabilidad de la GPU bajo carga. Son particularmente adecuados para tareas computacionales intensas como las que se encuentran en IA, análisis de datos y aplicaciones con uso intensivo de gráficos. Aquí hay un resumen de los aspectos clave que configuramos para esta prueba:

Gran servidor Estación de trabajo Grando
CPU Threadripper Pro W5995WX Destripador de hilos Pro 3975WX
Carnero RAM 512GB RAM 512GB
GPU 2X NVIDIA A100 2X NVIDIA A100
NIC 4x NVIDIA ConnectX 6 200G EN/IB 4x NVIDIA ConnectX 6 200G EN/IB
PSU 4 fuentes de alimentación de 1600 W Fuente de alimentación 3x 1000 SFX-L
Storage NVMe de 2 TB NVMe de 2 TB

El Comino Grando aprovecha un sofisticado sistema de refrigeración líquida para el procesador y las GPU, que incluye conexiones antigoteo y un gran bloque de distribución de agua que gestiona eficientemente el flujo de refrigerante para mantener el rendimiento incluso bajo cargas extenuantes. Esta configuración mejora el rendimiento y minimiza el ruido.

Usando el nvidia-smi top -mp El comando muestra el mapeo de GPU y NIC en nuestro sistema y las rutas que deben tomar los datos. Aquí está la leyenda:

X = Propia 
SYS = Conexión que atraviesa PCIe y la interconexión SMP entre nodos NUMA (por ejemplo, QPI/UPI) 
NODO = Conexión que atraviesa PCIe, así como la interconexión entre puentes de host PCIe dentro de un nodo NUMA 
PHB = Conexión que atraviesa PCIe y un puente de host PCIe (normalmente la CPU) 
PXB = Conexión que atraviesa múltiples puentes PCIe (sin atravesar el puente de host PCIe) 
PIX = Conexión que atraviesa en most un único puente PCIe

A partir de aquí, podemos decir que no queremos usar GPU1 con NIC4 y NIC5 para obtener un rendimiento óptimo, aunque esto juega un papel limitado en nuestras pruebas sintéticas.

Infinidad de pruebas cuánticas de IA

Realizamos un análisis técnico para evaluar el rendimiento del clúster de almacenamiento Quantum Myriad y su impacto en las cargas de trabajo de IA del mundo real. Nuestro análisis se centró en la capacidad del clúster para optimizar la utilización de recursos y escalar de manera efectiva. A lo largo de estas pruebas, utilizamos estaciones de trabajo en rack Comino de alta gama equipadas con NIC NVIDIA ConnectX-6 de 200 GbE y GPU duales NVIDIA A100. Estos son cruciales ya que representan un entorno de prueba sólido similar al que podría emplearse en proyectos de IA a gran escala.

Aprovechamos un script de shell simple para ayudar a crear scripts de prueba de GDS y analizar el resultado. Arte ASCII para puntos de estilo

El objetivo principal de estas pruebas fue evaluar la capacidad del clúster Quantum Myriad para manejar operaciones IO intensivas y qué tan bien puede adaptarse al rendimiento de las GPU de alta capacidad, que son fundamentales para los cálculos de IA. Dado que las cargas de trabajo de IA dependen en gran medida del rápido procesamiento de conjuntos de datos, la capacidad de una solución de almacenamiento para entregar datos a velocidades que coincidan con las capacidades de procesamiento de la GPU afecta directamente la eficiencia y el rendimiento general del sistema.

Nuestra principal herramienta para realizar pruebas aquí fue GPUDirect Storage I/O (GDSIO) de NVIDIA. GPUDirect es una tecnología fundamental diseñada para mejorar la eficiencia de la transferencia de datos entre sistemas de almacenamiento y GPU, agilizando los flujos de trabajo que son fundamentales en la informática de alto rendimiento, la inteligencia artificial y el análisis de big data.

Esta tecnología permite el acceso directo a la memoria (DMA) desde el almacenamiento directamente a la memoria de la GPU, sin pasar por la CPU. Esto elimina copias de datos innecesarias, lo que reduce la latencia y mejora el rendimiento. GDSIO es la implementación sintética de GPUDirect y es particularmente representativa de aplicaciones que requieren un procesamiento rápido de grandes conjuntos de datos. Esto incluye entrenamiento de modelos de aprendizaje automático o análisis de datos en tiempo real. También proporciona comentarios sobre perfiles y ajustes para la infraestructura de redes y almacenamiento.

En el contexto de la evaluación comparativa del almacenamiento, GDSIO desempeña un papel crucial en la evaluación precisa del rendimiento de las soluciones de almacenamiento en entornos que utilizan intensamente GPU. Al proporcionar una ruta más directa para la transferencia de datos, GDSIO permite realizar evaluaciones comparativas para medir el verdadero potencial de los sistemas de almacenamiento al admitir aplicaciones aceleradas por GPU.

Configuración de uso compartido de IA

Al iniciar sesión en Myriad, al usuario se le presenta un panel que muestra una descripción general de alto nivel del rendimiento y las especificaciones actuales del clúster. Los usuarios pueden ver fácilmente datos de telemetría como IOPS, rendimiento, latencia y uso.

Al pasar el mouse sobre cualquiera de los gráficos, se proporciona información de rendimiento muy detallada.

Al mirar la pantalla del sistema de archivos, los puntos de montaje actualmente configurados para recursos compartidos se pueden ver de manera intuitiva.

La página de Nodos es interesante, muestra el mapa físico del clúster, el controlador y los equilibradores de carga, junto con la actividad de los puertos y las unidades NVMe.

Al hacer clic en cualquiera de las unidades se muestra el estado informado por el host.

Al dirigirse a Recursos compartidos, los usuarios pueden configurar fácilmente los recursos compartidos según sea necesario y obtener instrucciones para montarlos en varios sistemas operativos.

Trabajamos con Quantum para configurar un recurso compartido NFS dedicado para nuestras pruebas. Estos fueron montados en /mnt/myriad/

Esto se logró utilizando la interfaz de usuario Myriad fácil de usar, que ofrece una configuración sencilla de apuntar y hacer clic. Durante el período de prueba, la opción SMB estuvo en acceso anticipado, mientras que NFS siguió siendo el protocolo preferido para nuestras máquinas de carga de trabajo basadas en Linux.

Nuestro punto de montaje NFS se configuró para 500 TB de espacio, pero puedes usar lo que necesites expandiendo el sistema de archivos. Puede sobreaprovisionar almacenamiento libremente sin penalizaciones y no hay un límite estricto de tamaño. Esto se vuelve muy interesante si se considera la compresión de datos de Myriad, que esencialmente reduce la huella de datos en los SSD NVMe.

Con un punto de montaje por host, cada GPU tiene su propia subcarpeta y utiliza su propia NIC para evitar una limitación de NFSv4.

Resultados y análisis de Quantum Myriad AI

Primero, veamos el rendimiento general de una de nuestras ejecuciones de loadgen. Esta muestra de la perspectiva del almacenamiento de una GPU representa el rendimiento que pudimos ver en todos los nodos/GPU.

Tipo de E/S Tamaño de E/S (KiB) Rendimiento (GiB/seg) Latencia promedio (usecs) Operaciones
ESCRIBIR 1024 2.57 10,087.74 78,820
RANDREAD 1024 6.92 2,277.86 209,319
ESCRIBIR 4096 3.44 18,193.14 56,616
RANDREAD 4096 3.64 6,481.70 73,715
ESCRIBIR 4 0.03 2,307.57 237,512
RANDREAD 4 0.12 497.05 941,971
ESCRIBIR 1024 2.79 5,609.64 94,017
LEER 1024 3.11 5,021.91 95,556
ESCRIBIR 4096 2.77 22,551.26 31,716
LEER 4096 3.50 17,875.32 31,871
ESCRIBIR 4 0.08 812.93 580,169
LEER 4 0.12 507.34 926,909

Los resultados de las pruebas revelan información importante sobre el rendimiento de Myriad en varias operaciones y tamaños de IO. Algunos de nuestros hallazgos incluyen:

  • Rendimiento de bloques pequeños y grandes: Las pruebas muestran una marcada diferencia en el rendimiento y la latencia cuando se manejan tamaños de bloques pequeños (4 KiB) versus grandes (1024 KiB y 4096 KiB). Por ejemplo, las operaciones RANDREAD de bloques grandes a 4096 KiB demostraron el rendimiento más alto de aproximadamente 9.64 GiB/seg, con una latencia promedio relativamente más baja de 6,481.70 microsegundos. Esto indica un rendimiento excelente para tareas de procesamiento de datos a gran escala comunes en el entrenamiento de modelos de aprendizaje automático, donde se accede con frecuencia a grandes conjuntos de datos.
  • Capacidad de saturación de GPU: El rendimiento logrado durante las pruebas de bloques grandes, particularmente para las operaciones RANDREAD, sugiere que el clúster de almacenamiento Myriad es bastante capaz de respaldar las GPU NVIDIA A100 en cargas de trabajo de tipo recuperación de inferencia y para descargar puntos de control a una ubicación central durante las cargas de trabajo de entrenamiento. Dado que el A100 puede manejar cantidades masivas de datos para el aprendizaje profundo, las altas tasas de rendimiento son esenciales para garantizar que estas GPU no queden inactivas esperando datos, maximizando así la eficiencia computacional.
  • Manejo de tamaño de bloque bajo: Por el contrario, al examinar las operaciones con bloques de 4 KiB, observamos un aumento dramático en el recuento y la latencia de las operaciones, con una caída significativa en el rendimiento. Este escenario es fundamental para comprender el rendimiento en entornos donde se producen múltiples transacciones de archivos pequeños, como en sistemas de procesamiento de transacciones en línea o bases de datos que manejan numerosas consultas pequeñas.

¡Pero espera hay mas!

Centrándonos en las pruebas de 4K, las cosas dieron un giro interesante a medida que cargamos Myriad con más GPU. Debido a las limitaciones del protocolo de montaje, como se descubrió en las ejecuciones iniciales durante la fase de descubrimiento, Myriad se estaba comportando según lo previsto pero con un giro sorprendente. A medida que cargamos Myriad en todas las GPU simultáneamente, gracias a algunos trucos de secuencias de comandos, los resultados fueron impresionantes. Myriad entregó esencialmente el mismo rendimiento a todos los nodos simultáneamente.

Tamaño de archivo 4K

Aquí hay una recopilación de cinco ejecuciones simultáneas de la carga de trabajo 4K:

Nodo Tipo de E/S Rendimiento (MiB/seg) Latencia promedio (usecs) Operaciones
1 RANDREAD 125.73 497.05 941,971
2 RANDREAD 121.29 506.67 907,642
3 RANDREAD 128.37 474.73 906,847
4 RANDREAD 122.93 487.88 966,441
Lectura aleatoria total 498.31 491.58 3,722,901
1 ESCRIBIR 27.08 2,307.57 237,512
2 ESCRIBIR 26.88 2,285.62 231,625
3 ESCRIBIR 26.10 2,406.89 228,983
4 ESCRIBIR 28.27 2,341.65 245,172
Escritura aleatoria total 108.34 2,335.43 943,292
1 LEER 123.19 507.34 926,909
2 LEER 125.69 511.23 900,136
3 LEER 123.90 502.04 945,949
4 LEER 123.77 502.36 948,850
Lectura total 496.54 505.74 3,721,844
1 ESCRIBIR 76.87 812.93 580,169
2 ESCRIBIR 80.17 839.88 551,311
3 ESCRIBIR 78.62 783.24 556,060
4 ESCRIBIR 73.40 811.62 597,226
Escritura total 309.06 811.92 2,284,766

Tamaño de archivo de 4 MB

Nodo Tipo de E/S Rendimiento (GiB/seg) Latencia promedio (usecs) Operaciones
1 RANDREAD 3.44 6,481.70 73,715
2 RANDREAD 3.97 6802.17 75,689
3 RANDREAD 3.83 6498.16 73,277
4 RANDREAD 3.50 6,589.43 70,443
Lectura aleatoria total 14.75 6,593 293,124
1 ESCRIBIR 3.44 18,193.14 56,616
2 ESCRIBIR 3.4048 19090.38 54,725
3 ESCRIBIR 3.4349 18125.25 56,277
4 ESCRIBIR 3.5084 17018.30 54,397
Escritura aleatoria total 13.78 18,107 222,015
1 LEER 3.50 17,875.32 31,871
2 LEER 3.4388 17110.93 31,119
3 LEER 3.5133 18124.53 31,096
4 LEER 3.3035 17755.53 31,257
Lectura total 13.75 17,717 125,343
1 ESCRIBIR 2.77 22,551.26 31,716
2 ESCRIBIR 2.8845 23674.69 33,017
3 ESCRIBIR 2.7008 22661.31 30,971
4 ESCRIBIR 2.7719 22798.83 29,519
Escritura total 11.13 22,922 125,223

La arquitectura de almacenamiento única de Quantum Myriad proporciona accesibilidad dual que beneficia tanto las operaciones de GPU como las actividades simultáneas de los usuarios sin pérdida de rendimiento. Esto es particularmente efectivo en entornos de alta demanda donde se requiere acceso y procesamiento de datos simultáneos, similar a una comunidad de usuarios de IA y servidor de aprendizaje automático y acceso de analistas de usuarios finales. Al admitir la accesibilidad de grandes bloques de datos para GPU junto con otras operaciones de usuario, Myriad garantiza una utilización eficiente de los recursos y evita cuellos de botella. Esto es crucial para mantener altas velocidades operativas y precisión de los datos en aplicaciones como análisis en tiempo real y entrenamiento de modelos de IA.

Vale la pena señalar aquí que el truco de Quantum Myriad es su capacidad para manejar hábilmente múltiples flujos de datos hasta las limitaciones de NFSv4, que pueden verse afectadas fácilmente bajo cargas intensas de GPU. Las sofisticadas capacidades de gestión de datos del sistema evitan que estos límites afecten el rendimiento general de la plataforma Myriad, lo que garantiza que las tareas de GPU de alta demanda no ralenticen otras operaciones en la misma red. Esta característica es particularmente beneficiosa para industrias que requieren capacidades sólidas de procesamiento de datos sin sacrificar el desempeño de tareas simultáneas, lo que respalda un flujo de trabajo fluido para todos los usuarios.

Implicaciones y escalamiento en el mundo real

Quantum Myriad tiene el potencial de trabajar con aplicaciones del mundo real y escenarios escalables fácilmente. Su capacidad para manejar bloques de gran tamaño con alto rendimiento y baja latencia beneficia las cargas de trabajo de IA, incluido el entrenamiento de modelos de aprendizaje profundo donde se procesan grandes conjuntos de datos en lotes. El alto rendimiento garantiza que los datos ingresen a las GPU sin demora, lo cual es crucial para mantener una alta utilización y un aprendizaje eficiente.

Otra característica esencial es la escalabilidad. El rendimiento del clúster de almacenamiento Quantum Myriad en nuestras pruebas sugiere que puede admitir de manera eficiente configuraciones más grandes. A medida que aumenta el número de dispositivos conectados (por ejemplo, GPU adicionales u otras unidades informáticas de alto rendimiento), el sistema de almacenamiento parece capaz de mantener altos niveles de entrega de datos sin convertirse en un cuello de botella.

El rendimiento del clúster de almacenamiento Quantum Myriad durante operaciones RANDREAD de bloques grandes fue especialmente notable durante nuestras pruebas. Esta capacidad es fundamental al considerar las necesidades de los marcos modernos de inteligencia artificial y aprendizaje automático.

La prueba RANDREAD, con su importante rendimiento, muestra la capacidad de Myriad para recuperar grandes volúmenes de datos de forma rápida y eficiente. Esto adquiere particular importancia en el contexto de las cargas de trabajo de inferencia, donde la velocidad a la que se puede acceder a los datos afecta directamente el rendimiento de los modelos de IA en entornos de producción. Las tareas de inferencia, que a menudo requieren un acceso rápido a grandes conjuntos de datos para la toma de decisiones en tiempo real, se benefician enormemente de las capacidades de recuperación de datos de alta velocidad que presenta el clúster Myriad. Por ejemplo, en aplicaciones como el reconocimiento de imágenes en tiempo real o motores de decisión complejos que impulsan sistemas automatizados, la capacidad de extraer grandes bloques de datos con una latencia mínima garantiza que los motores de inferencia puedan funcionar con la máxima eficiencia sin detenerse en la obtención de datos.

Durante la fase de prueba, Myriad demostró solidez en el manejo de datos de puntos de control durante las cargas de trabajo de entrenamiento, lo cual es tan importante como el rendimiento del clúster durante las operaciones de escritura. El entrenamiento de modelos modernos de IA, especialmente redes de aprendizaje profundo, implica procesos iterativos donde los puntos de control son cruciales. Estos puntos de control, que representan el estado del modelo en una iteración particular, deben guardarse periódicamente para garantizar que no se pierda el progreso y que los modelos se puedan ajustar de manera efectiva sin volver a entrenarlos desde cero. Myriad descarga de manera eficiente grandes operaciones de escritura al clúster de almacenamiento, lo que reduce el tiempo de E/S y permite que las GPU se concentren en la computación en lugar del manejo de datos.

La arquitectura de Myriad garantiza que a medida que las demandas de datos crezcan, ya sea debido a mayores tamaños de conjuntos de datos o requisitos de capacitación de modelos más complejos, el sistema pueda escalar en consecuencia sin crear cuellos de botella, tiempo de inactividad o pérdida de conectividad del usuario. Esta escalabilidad es esencial en una era en la que las cargas de trabajo de IA y aprendizaje automático están evolucionando rápidamente, lo que requiere soluciones de almacenamiento que sigan el ritmo de las demandas actuales y estén preparadas para el futuro frente a los próximos avances en la investigación y el desarrollo de la IA.

Conclusión

El clúster de almacenamiento Quantum Myriad muestra un rendimiento excepcional en la gestión de operaciones de E/S diversas y exigentes. Es una solución versátil para cargas de trabajo empresariales tradicionales y aplicaciones de inteligencia artificial de vanguardia. Gracias a su alto rendimiento y baja latencia, las capacidades de Myriad se extienden más allá de las tareas tradicionales de almacenamiento de datos que son cruciales para mantener operaciones fluidas y una recuperación eficiente de datos.

Además de estos usos convencionales, las sólidas características de rendimiento de Myriad lo convierten en un candidato ideal para las demandas más intensivas de los flujos de trabajo de IA. Aquí, el clúster sobresale en escenarios que requieren acceso rápido a datos y procesamiento de alta velocidad, vital para entrenar modelos sofisticados de aprendizaje automático y ejecutar redes neuronales complejas. La capacidad de leer y escribir rápidamente grandes volúmenes de datos compartidos puede aumentar la utilización de la GPU y garantizar que los cálculos de IA se puedan realizar sin demora.

Esta prueba integral del clúster Myriad sirve como punto de referencia crucial para comprender su escalabilidad y rendimiento en entornos que combinan las necesidades comerciales y de TI tradicionales con las altas demandas de la investigación y el desarrollo de la IA. Los resultados destacan la destreza técnica de Myriad y su potencial para facilitar aplicaciones de IA y proyectos de aprendizaje automático de alto riesgo, subrayando su adaptabilidad y eficiencia en un amplio espectro de tareas computacionales. Estas capacidades confirman el papel de Myriad como tecnología fundamental que respalda a las empresas mientras navegan por las necesidades actuales y los panoramas tecnológicos futuros.

Página del producto Quantum Myriad

Este informe está patrocinado por Quantum. Todos los puntos de vista y opiniones expresados ​​en este informe se basan en nuestra visión imparcial de los productos bajo consideración.

Interactuar con StorageReview

Boletín informativo | Canal de YouTube | Podcast iTunes/Spotify | @Instagram | Twitter | @TikTok | RSS Feed