Quantum Myriad est une plateforme SDS moderne et flexible, capable de gérer une grande variété de charges de travail, y compris des tâches d'IA exigeantes.
En 2023, Quantum a lancé une nouvelle version moderne du stockage défini par logiciel avec Myriad. Nous avons complété un plongée profonde dans Myriad à la fin de l'année dernière et ont été impressionnés par son architecture extrêmement performante et résiliente. L'ensemble diversifié de fonctionnalités et la flexibilité du protocole de Myriad étendent la portée de ses cas d'utilisation au-delà des besoins de partage de fichiers d'entreprise. Et il n’existe actuellement aucune application plus demandée que l’IA.
L'IA transforme fondamentalement le paysage de l'entreprise en apportant de nouvelles informations à la prise de décision, en automatisant des processus complexes et en créant de nouvelles façons permettant aux entreprises d'interagir avec les clients et de gérer leurs opérations. Voici quelques domaines clés dans lesquels l’IA a un impact :
Automatisation: L'IA automatise les tâches routinières et sujettes aux erreurs comme la saisie de données et le support client avec des chatbots et trouve même des moyens d'optimiser des processus complexes comme la gestion de la chaîne d'approvisionnement. Cela fait gagner du temps et permet aux gens de se concentrer sur des tâches plus créatives ou stratégiques.
Historique: Il fouille dans d’énormes piles de données pour trouver des modèles et des informations plus rapidement que n’importe quel humain. Cela aide les entreprises à prendre des décisions plus judicieuses, à prédire les tendances du marché et à mieux comprendre leurs clients.
Personnalisation: Les entreprises utilisent l'IA pour adapter leurs services et leur marketing à des clients individuels, comme des moteurs de recommandation qui apprennent ce qu'un utilisateur aime comme on le voit sur Netflix ou Spotify.
Sécurité Améliorée : L'IA est un acteur majeur de la cybersécurité, aidant à détecter et à répondre instantanément aux menaces. Il est toujours sur ses gardes, à la recherche de tout ce qui peut être louche.
Innovation: L'IA stimule l'innovation en aidant à développer de nouveaux produits et services, des médicaments aux nouveaux matériaux, en simulant chaque aspect de la conception, de l'apparence et de la maintenance d'un produit. Il peut même prédire les résultats avant les essais physiques de médicaments.
Les défis de l’évolutivité et de la flexibilité
Les systèmes de stockage existants ne parviennent souvent pas à évoluer efficacement, une capacité cruciale pour les applications d’IA qui génèrent et traitent de gros volumes de données. Le stockage traditionnel peut nécessiter des temps d'arrêt importants ou des mises à niveau complexes ainsi qu'une configuration et une allocation réseau pour augmenter la capacité. Cela n'est pas réalisable dans les environnements d'IA dynamiques, qui nécessitent une évolutivité rapide, aucun temps d'arrêt et un déploiement de modèles sans perte de performances.
Les charges de travail d'IA exigent également un débit élevé et faible latence simultanément. Les systèmes existants, généralement équipés de lecteurs mécaniques et d'un réseau obsolète, ne peuvent pas répondre à ces exigences de vitesse, ce qui entraîne des goulots d'étranglement qui entravent les opérations d'IA. L’IA moderne bénéficie considérablement de technologies plus rapides telles que l’accélération NVMe et GPU, et celles-ci sont souvent incompatibles avec les systèmes plus anciens.
Les applications d’IA nécessitent un accès et une analyse de données en temps réel provenant de sources variées. Le stockage existant, souvent cloisonné, entrave l'intégration et le déplacement des données, limitant ainsi l'efficacité de l'analyse des données et de l'apprentissage automatique. Les outils de gestion existants sont également confrontés à une gouvernance complexe des données et à la hiérarchisation automatisée nécessaires à l’IA.
La maintenance et les mises à niveau du stockage existant sont également coûteuses et inefficaces pour les demandes d'IA, notamment en termes de coûts opérationnels élevés en matière d'alimentation, de refroidissement et d'espace. La modernisation des anciens systèmes pour prendre en charge les nouvelles technologies n’est pas économiquement viable.
L'IA s'appuie sur des fonctionnalités de stockage modernes telles que la hiérarchisation automatisée, l'analyse en temps réel et des mesures de sécurité robustes telles que le cryptage. Les systèmes existants ne disposent pas de ces capacités critiques, essentielles à la protection des données d’IA et au respect des normes réglementaires.
La modernisation des infrastructures de gestion et de stockage des données est essentielle pour tirer parti du potentiel de transformation de l’IA. Les solutions de stockage de nouvelle génération conçues pour les complexités de l’IA peuvent améliorer considérablement les performances, l’évolutivité et la rentabilité, favorisant ainsi des applications et des modèles commerciaux innovants.
Rencontrez Quantum Myriad
Quantum Myriad est une solution de stockage 100 % Flash logicielle hautes performances, conçue pour répondre aux exigences des applications modernes, en particulier celles nécessitant un débit élevé et une faible latence. Cela est particulièrement vrai pour l'IA, la science des données, les effets visuels et l'animation. L'architecture cloud native de Myriad offre flexibilité, facilité de déploiement et réponses automatiques aux modifications du système, que ce soit sur site ou dans un environnement de cloud public comme AWS.
La conception de Myriad vise à offrir une faible latence constante et une bande passante élevée. Ces qualités sont absolument indispensables pour les applications qui exigent un traitement des données ultra-rapide et des performances en temps réel.
L'architecture de Myriad est très flexible et s'adapte sans effort aux petits et grands déploiements. Il est facile de démarrer avec un petit système, puis de développer un cluster Myriad. Au fur et à mesure que vous ajoutez plus de nœuds, il évolue de manière linéaire tout en gardant les choses efficaces et équilibrées.
La gestion des clusters avec Myriad est simple. Il est doté de fonctionnalités telles que des extensions de stockage sans clic et un portail de gestion convivial, qui contribuent à réduire le besoin d'une attention administrative constante. Myriad couvre l'intégrité des données avec un magasin transactionnel clé-valeur réparti sur ses nœuds et la correction des erreurs est gérée sur tous les nœuds de stockage disponibles.
Myriad est livré avec un support réseau impressionnant. Grâce à la prise en charge du RDMA sur Ethernet Convergé (RoCE) et à l'intégration avec les déploiements réseau existants via le routage BGP, les données peuvent entrer et sortir sans effort du cluster Myriad tout en profitant des capacités réseau avancées.
Myriad est conçu pour être convivial et nécessite des étapes minimes pour configurer et exécuter ou ajouter des emplacements de partage supplémentaires. Cela le rend parfait pour les entreprises qui doivent s'adapter rapidement à l'évolution de leurs besoins de stockage, d'autant plus que la solution fonctionne sur des serveurs standard disponibles dans le commerce. De plus, si vous envisagez le cloud, Myriad fonctionne bien avec des plates-formes comme AWS afin que vous puissiez étendre au-delà de votre configuration sur site.
Configuration Quantum Myriad telle que testée
Le Quantum Myriad testé était une configuration de base de cinq nœuds. Chaque nœud était équipé de dix disques SSD de 15 To, totalisant une quantité importante de stockage à accès rapide sur l'ensemble du cluster. Cette configuration de base permettait une capacité de stockage de données substantielle tout en maintenant la vitesse nécessaire aux opérations d'E/S élevées et à la récupération rapide des données, toutes essentielles au traitement en temps réel et aux calculs d'IA. Les nœuds de stockage sont spécifiés et configurés à partir de SuperMicro et les disques NVMe sont facilement disponibles auprès de Samsung.
Lors des tests, nous avons utilisé une plate-forme Myriad configurée dans un cluster à 5 nœuds, chacun avec les spécifications clés suivantes :
- Nœud de stockage Quantum Myriad N1010 avec un seul processeur AMD EPYC à 64 cœurs
- 10 x 15.36 To NVMe TLC
- 2 ports Ethernet 100GbE double port
Les nœuds d'équilibrage de charge déployés dans une paire redondante interconnectée sur tous les nœuds de stockage font partie intégrante de Myriad. Ceux-ci sont essentiels à la gestion du trafic de données vers et depuis les nœuds de stockage. La paire d'équilibreurs de charge garantit que le trafic réseau est réparti uniformément entre les nœuds de stockage, empêchant ainsi un nœud unique de devenir un goulot d'étranglement. Lorsqu'un accès et un traitement simultanés des données sont requis, cela est extrêmement important dans les environnements où la vitesse et la fiabilité de l'accès aux données peuvent avoir un impact significatif sur les performances globales du système.
L'utilisation de plusieurs nœuds et équilibreurs de charge améliore les performances et améliore la fiabilité et la tolérance aux pannes du système. La répartition du stockage et de la charge réseau permet au système de continuer à fonctionner efficacement même si un nœud rencontre des problèmes. Cette configuration est essentielle pour maintenir la disponibilité et garantir l’intégrité des données dans les applications métier critiques.
La configuration de base est conçue pour être flexible et peut être étendue en ajoutant davantage de nœuds de stockage si nécessaire. Vous pouvez augmenter votre capacité de stockage en incorporant des nœuds supplémentaires, en utilisant des disques NVMe plus denses, ou les deux. Par exemple, vous pouvez ajouter un nouveau nœud de stockage équipé de disques de 30 To à un système utilisant actuellement des disques de 15 To, ou vous pouvez effectuer une mise à niveau vers des modules de disques plus denses dans le cadre de l'empreinte existante. Cette évolutivité est essentielle pour les entreprises qui s’attendent à une croissance de leurs besoins en données ou qui connaissent des modèles d’utilisation des données variables.
Serveurs de génération de charge GPU Comino
Pour exercer le système Myriad et générer nos benchmarks, nous avons utilisé une paire de systèmes Comino Grando. Les systèmes Comino Grando sont des configurations hautes performances refroidies par liquide conçues spécifiquement pour maximiser l'efficacité et la stabilité du GPU sous charge. Ils sont particulièrement adaptés aux tâches de calcul intenses comme celles rencontrées dans l’IA, l’analyse de données et les applications à forte intensité graphique. Voici un résumé des aspects clés que nous avons configurés pour ce test :
| Serveur Grando | Poste de travail Grando | |
|---|---|---|
| Processeur | Extracteur de filetage Pro W5995WX | Déchiqueteuse Pro 3975WX |
| Bélier | 512GB RAM | 512GB RAM |
| GPU | 2X NVIDIA A100 | 2X NVIDIA A100 |
| NIC | 4x NVIDIA ConnectX 6 200G EN/IB | 4x NVIDIA ConnectX 6 200G EN/IB |
| PSU | 4 blocs d'alimentation de 1600 XNUMX W | 3x 1000 SFX-L bloc d'alimentation |
| Stockage | NVMe 2 To | NVMe 2 To |
Le Comino Grando exploite un système de refroidissement liquide sophistiqué pour le processeur et les GPU, qui comprend des connexions anti-gouttes et un grand bloc de distribution d'eau qui gère efficacement le flux de liquide de refroidissement pour maintenir les performances même sous des charges intenses. Cette configuration améliore les performances et minimise le bruit.
Le nvidia-smi top -mp La commande affiche le mappage GPU et NIC dans notre système et les chemins que les données doivent emprunter. Voici la légende :
X = Soi SYS = Connexion traversant PCIe ainsi que l'interconnexion SMP entre les nœuds NUMA (par exemple, QPI/UPI) NODE = Connexion traversant PCIe ainsi que l'interconnexion entre les ponts hôtes PCIe au sein d'un nœud NUMA PHB = Connexion traversant PCIe ainsi qu'un pont hôte PCIe (généralement le processeur) PXB = Connexion traversant plusieurs ponts PCIe (sans traverser le pont hôte PCIe) PIX = Connexion traversant à (en fait, presque toutes) un seul pont PCIe
À partir de là, nous pouvons dire que nous ne voudrions pas utiliser GPU1 avec NIC4 et NIC5 pour des performances optimales, bien que cela joue un rôle limité dans nos tests synthétiques.
Tests d'IA Quantum Myriad
Nous avons effectué une analyse technique pour évaluer les performances du cluster de stockage Quantum Myriad et son impact sur les charges de travail d'IA du monde réel. Notre analyse s'est concentrée sur la capacité du cluster à optimiser l'utilisation des ressources et à évoluer efficacement. Tout au long de ces tests, nous avons utilisé des stations de travail en rack Comino haut de gamme équipées de cartes réseau NVIDIA ConnectX-6 200GbE et de deux GPU NVIDIA A100. Ces éléments sont cruciaux car ils représentent un environnement de test robuste, similaire à celui qui pourrait être utilisé dans des projets d’IA à grande échelle.
Nous avons utilisé un simple script shell pour créer des scripts de test GDS et analyser le résultat. Art ASCII pour les points de style
L'objectif principal de ces tests était d'évaluer la capacité du cluster Quantum Myriad à gérer des opérations d'E/S intensives et dans quelle mesure il peut prendre en charge le débit des GPU haute capacité, essentiels aux calculs d'IA. Étant donné que les charges de travail de l'IA dépendent fortement du traitement rapide des ensembles de données, la capacité d'une solution de stockage à fournir des données à des vitesses correspondant aux capacités de traitement du GPU a un impact direct sur l'efficacité et les performances globales du système.
Notre principal outil de test ici était le GPUDirect Storage I/O (GDSIO) de NVIDIA. GPUDirect est une technologie essentielle conçue pour améliorer l'efficacité du transfert de données entre les systèmes de stockage et les GPU, en rationalisant les flux de travail essentiels au calcul haute performance, à l'intelligence artificielle et à l'analyse du Big Data.
Cette technologie permet un accès direct à la mémoire (DMA) depuis le stockage directement vers la mémoire GPU, contournant ainsi le CPU. Cela élimine les copies de données inutiles, ce qui réduit la latence et améliore le débit. GDSIO est l'implémentation synthétique de GPUDirect et est particulièrement représentative des applications nécessitant un traitement rapide d'ensembles de données volumineux. Cela inclut la formation de modèles d’apprentissage automatique ou l’analyse de données en temps réel. Il fournit également des informations sur le profilage et le réglage de l'infrastructure de stockage et de réseau.
Dans le contexte de l'analyse comparative du stockage, GDSIO joue un rôle crucial dans l'évaluation précise des performances des solutions de stockage dans des environnements utilisant fortement les GPU. En fournissant un chemin plus direct pour le transfert de données, GDSIO permet d'effectuer des analyses comparatives pour mesurer le véritable potentiel des systèmes de stockage dans la prise en charge des applications accélérées par GPU.
Configuration du partage IA
Lors de la connexion à Myriad, l'utilisateur se voit présenter un tableau de bord qui affiche un aperçu de haut niveau des performances et des spécifications actuelles du cluster. Les utilisateurs peuvent facilement afficher les données de télémétrie telles que les IOPS, le débit, la latence et l'utilisation.
Passer la souris sur l'un des graphiques fournit des informations de performances très détaillées.
En regardant l'écran du système de fichiers, les points de montage actuellement configurés pour les partages sont visibles de manière intuitive.
La page Nœuds est intéressante, elle montre la carte physique du cluster, du contrôleur et des équilibreurs de charge, ainsi que l'activité des ports et les lecteurs NVMe.
Cliquer sur l'un des lecteurs affiche l'état signalé par l'hôte.
En accédant à Partages, les utilisateurs peuvent facilement configurer les partages selon leurs besoins et obtenir des instructions pour les monter dans différents systèmes d'exploitation.
Nous avons travaillé avec Quantum pour mettre en place un partage NFS dédié à nos tests. Ceux-ci ont été montés à /mnt/myriad/
Ceci a été réalisé grâce à l'interface utilisateur conviviale de Myriad, qui offre une configuration simple par pointer-cliquer. Pendant la période de test, l'option SMB était en accès anticipé, tandis que NFS restait le protocole préféré pour nos machines de charge de travail basées sur Linux.
Notre point de montage NFS a été configuré pour 500 To d'espace, mais vous pouvez utiliser tout ce dont vous avez besoin en développant le système de fichiers. Vous pouvez librement surprovisionner le stockage sans pénalité, et il n’y a pas de limite stricte au dimensionnement. Cela devient très intéressant si l'on considère la compression des données de Myriad, qui réduit essentiellement l'empreinte des données sur les SSD NVMe.
Avec un point de montage par hôte, chaque GPU possède son propre sous-dossier, utilisant sa propre carte réseau pour éviter une limitation NFSv4.
Résultats et analyses de l'IA Quantum Myriad
Tout d'abord, examinons les performances globales de l'une de nos exécutions Loadgen. Cet exemple du point de vue d'un GPU sur le stockage représente les performances que nous avons pu constater sur tous les nœuds/GPU.
| Type d'E/S | Taille des E/S (Ko) | Débit (Gio/sec) | Latence moyenne (usecs) | Opérations |
|---|---|---|---|---|
| RANDÉCRITURE | 1024 | 2.57 | 10,087.74 | 78,820 |
| RANDIRER | 1024 | 6.92 | 2,277.86 | 209,319 |
| RANDÉCRITURE | 4096 | 3.44 | 18,193.14 | 56,616 |
| RANDIRER | 4096 | 3.64 | 6,481.70 | 73,715 |
| RANDÉCRITURE | 4 | 0.03 | 2,307.57 | 237,512 |
| RANDIRER | 4 | 0.12 | 497.05 | 941,971 |
| ÉCRIRE | 1024 | 2.79 | 5,609.64 | 94,017 |
| LIS | 1024 | 3.11 | 5,021.91 | 95,556 |
| ÉCRIRE | 4096 | 2.77 | 22,551.26 | 31,716 |
| LIS | 4096 | 3.50 | 17,875.32 | 31,871 |
| ÉCRIRE | 4 | 0.08 | 812.93 | 580,169 |
| LIS | 4 | 0.12 | 507.34 | 926,909 |
Les résultats des tests révèlent des informations significatives sur les performances de Myriad dans diverses opérations et tailles d'E/S. Certaines de nos conclusions comprennent :
- Performances des petits et grands blocs : Les tests montrent une différence marquée en termes de débit et de latence lors de la gestion de blocs de petite taille (4 Ko) et de grande taille (1024 4096 KiB et 4096 9.64 KiB). Par exemple, les opérations RANDREAD en gros blocs à 6,481.70 XNUMX Ko ont démontré le débit le plus élevé d'environ XNUMX Gio/s, avec une latence moyenne relativement inférieure de XNUMX XNUMX microsecondes. Cela indique d'excellentes performances pour les tâches de traitement de données à grande échelle courantes dans la formation de modèles d'apprentissage automatique, où de grands ensembles de données sont fréquemment consultés.
- Capacité de saturation du GPU : Le débit obtenu lors des tests de gros blocs, en particulier pour les opérations RANDREAD, suggère que le cluster de stockage Myriad est tout à fait capable de soutenir les GPU NVIDIA A100 dans des charges de travail de type récupération d'inférence et de décharger les points de contrôle vers un emplacement central pendant les charges de travail de formation. Étant donné que l'A100 peut gérer d'énormes quantités de données pour l'apprentissage en profondeur, les débits élevés sont essentiels pour garantir que ces GPU ne restent pas inactifs en attendant des données, maximisant ainsi l'efficacité des calculs.
- Manipulation de blocs de faible taille : À l’inverse, lors de l’examen des opérations avec des blocs de 4 Ko, nous avons observé une augmentation spectaculaire du nombre d’opérations et de la latence, avec une baisse significative du débit. Ce scénario est essentiel pour comprendre les performances dans les environnements dans lesquels plusieurs transactions de petits fichiers se produisent, comme dans les systèmes de traitement de transactions en ligne ou les bases de données traitant de nombreuses petites requêtes.
Mais attendez, il y a plus!
En nous concentrant sur les tests 4K, les choses ont pris une tournure intéressante lorsque nous avons chargé Myriad avec plus de GPU. En raison des limites du protocole de montage, découvertes lors des premières exécutions au cours de la phase de découverte, Myriad se comportait comme prévu, mais avec une tournure surprenante. Alors que nous chargeions Myriad sur tous les GPU simultanément, grâce à quelques hacks de script, les résultats étaient impressionnants. Myriad a fourni essentiellement les mêmes performances à tous les nœuds simultanément.
Taille du fichier 4K
Voici une compilation de cinq exécutions simultanées de la charge de travail 4K :
| Nœud | Type d'E/S | Débit (Mio/sec) | Latence moyenne (usecs) | Opérations |
|---|---|---|---|---|
| 1 | RANDIRER | 125.73 | 497.05 | 941,971 |
| 2 | RANDIRER | 121.29 | 506.67 | 907,642 |
| 3 | RANDIRER | 128.37 | 474.73 | 906,847 |
| 4 | RANDIRER | 122.93 | 487.88 | 966,441 |
| Lecture aléatoire totale | 498.31 | 491.58 | 3,722,901 | |
| 1 | RANDÉCRITURE | 27.08 | 2,307.57 | 237,512 |
| 2 | RANDÉCRITURE | 26.88 | 2,285.62 | 231,625 |
| 3 | RANDÉCRITURE | 26.10 | 2,406.89 | 228,983 |
| 4 | RANDÉCRITURE | 28.27 | 2,341.65 | 245,172 |
| Écriture aléatoire totale | 108.34 | 2,335.43 | 943,292 | |
| 1 | LIS | 123.19 | 507.34 | 926,909 |
| 2 | LIS | 125.69 | 511.23 | 900,136 |
| 3 | LIS | 123.90 | 502.04 | 945,949 |
| 4 | LIS | 123.77 | 502.36 | 948,850 |
| Lecture totale | 496.54 | 505.74 | 3,721,844 | |
| 1 | ÉCRIRE | 76.87 | 812.93 | 580,169 |
| 2 | ÉCRIRE | 80.17 | 839.88 | 551,311 |
| 3 | ÉCRIRE | 78.62 | 783.24 | 556,060 |
| 4 | ÉCRIRE | 73.40 | 811.62 | 597,226 |
| Écriture totale | 309.06 | 811.92 | 2,284,766 | |
Taille du fichier 4 Mo
| Nœud | Type d'E/S | Débit (Gio/sec) | Latence moyenne (usecs) | Opérations |
|---|---|---|---|---|
| 1 | RANDIRER | 3.44 | 6,481.70 | 73,715 |
| 2 | RANDIRER | 3.97 | 6802.17 | 75,689 |
| 3 | RANDIRER | 3.83 | 6498.16 | 73,277 |
| 4 | RANDIRER | 3.50 | 6,589.43 | 70,443 |
| Lecture aléatoire totale | 14.75 | 6,593 | 293,124 | |
| 1 | RANDÉCRITURE | 3.44 | 18,193.14 | 56,616 |
| 2 | RANDÉCRITURE | 3.4048 | 19090.38 | 54,725 |
| 3 | RANDÉCRITURE | 3.4349 | 18125.25 | 56,277 |
| 4 | RANDÉCRITURE | 3.5084 | 17018.30 | 54,397 |
| Écriture aléatoire totale | 13.78 | 18,107 | 222,015 | |
| 1 | LIS | 3.50 | 17,875.32 | 31,871 |
| 2 | LIS | 3.4388 | 17110.93 | 31,119 |
| 3 | LIS | 3.5133 | 18124.53 | 31,096 |
| 4 | LIS | 3.3035 | 17755.53 | 31,257 |
| Lecture totale | 13.75 | 17,717 | 125,343 | |
| 1 | ÉCRIRE | 2.77 | 22,551.26 | 31,716 |
| 2 | ÉCRIRE | 2.8845 | 23674.69 | 33,017 |
| 3 | ÉCRIRE | 2.7008 | 22661.31 | 30,971 |
| 4 | ÉCRIRE | 2.7719 | 22798.83 | 29,519 |
| Écriture totale | 11.13 | 22,922 | 125,223 | |
L'architecture de stockage unique de Quantum Myriad offre une double accessibilité qui profite à la fois aux opérations GPU et aux activités utilisateur simultanées sans perte de performances. Ceci est particulièrement efficace dans les environnements à forte demande où l'accès et le traitement simultanés des données sont requis, à l'instar d'une communauté d'utilisateurs d'IA et de serveur d'apprentissage automatique et d'un accès aux analystes des utilisateurs finaux. En prenant en charge l'accessibilité de gros blocs de données pour les GPU ainsi que d'autres opérations utilisateur, Myriad garantit une utilisation efficace des ressources et évite les goulots d'étranglement. Ceci est crucial pour maintenir des vitesses opérationnelles élevées et la précision des données dans des applications telles que l’analyse en temps réel et la formation de modèles d’IA.
Il convient de noter ici que l'astuce de Quantum Myriad réside dans sa capacité à gérer efficacement plusieurs flux de données jusqu'aux limites de NFSv4, qui peuvent être facilement atteintes sous des charges GPU intenses. Les capacités sophistiquées de gestion des données du système empêchent ces limites d'avoir un impact sur les performances globales de la plateforme Myriad, garantissant ainsi que les tâches GPU à forte demande ne ralentissent pas les autres opérations sur le même réseau. Cette fonctionnalité est particulièrement bénéfique pour les secteurs qui nécessitent des capacités de traitement de données robustes sans sacrifier les performances des tâches simultanées, prenant ainsi en charge un flux de travail transparent pour tous les utilisateurs.
Implications dans le monde réel et mise à l'échelle
Quantum Myriad a le potentiel de fonctionner facilement avec des applications du monde réel et des scénarios de mise à l’échelle. Sa capacité à gérer des blocs de grande taille avec un débit élevé et une faible latence profite aux charges de travail de l'IA, notamment la formation de modèles d'apprentissage profond dans lesquels de grands ensembles de données sont traités par lots. Un débit élevé garantit que les données alimentent les GPU sans délai, ce qui est crucial pour maintenir une utilisation élevée et un apprentissage efficace.
Une autre caractéristique essentielle est l’évolutivité. Les performances du cluster de stockage Quantum Myriad lors de nos tests suggèrent qu'il peut prendre en charge efficacement des configurations plus importantes. À mesure que le nombre de périphériques connectés (par exemple, des GPU supplémentaires ou d'autres unités de calcul hautes performances) augmente, le système de stockage semble capable de maintenir des niveaux élevés de transmission de données sans devenir un goulot d'étranglement.
Les performances du cluster de stockage Quantum Myriad lors des opérations RANDREAD de gros blocs ont été particulièrement remarquables lors de nos tests. Cette capacité est essentielle si l’on considère les besoins des cadres modernes d’IA et d’apprentissage automatique.
Le test RANDREAD, avec son débit important, met en valeur la capacité de Myriad à récupérer rapidement et efficacement de gros volumes de données. Cela devient particulièrement important dans le contexte des charges de travail d’inférence, où la vitesse à laquelle les données sont accessibles a un impact direct sur les performances des modèles d’IA dans les environnements de production. Les tâches d'inférence, qui nécessitent souvent un accès rapide à de grands ensembles de données pour une prise de décision en temps réel, bénéficient énormément des capacités de récupération de données à grande vitesse présentées par le cluster Myriad. Par exemple, dans des applications telles que la reconnaissance d'images en temps réel ou les moteurs de décision complexes pilotant des systèmes automatisés, la capacité d'extraire de gros blocs de données avec une latence minimale garantit que les moteurs d'inférence peuvent fonctionner avec une efficacité maximale sans bloquer les données.
Au cours de la phase de test, Myriad a démontré sa robustesse dans la gestion des données de point de contrôle lors des charges de travail de formation, ce qui est tout aussi important que les performances du cluster lors des opérations d'écriture. La formation de modèles d'IA modernes, en particulier de réseaux d'apprentissage profond, implique des processus itératifs où les points de contrôle sont cruciaux. Ces points de contrôle, qui représentent l'état du modèle à une itération particulière, doivent être sauvegardés périodiquement pour garantir que la progression ne soit pas perdue et que les modèles puissent être efficacement ajustés sans avoir à repartir de zéro. Myriad décharge efficacement les opérations d'écriture volumineuses sur le cluster de stockage, réduisant ainsi le temps d'E/S et permettant aux GPU de se concentrer sur le calcul plutôt que sur la gestion des données.
L'architecture de Myriad garantit qu'à mesure que les besoins en données évoluent, que ce soit en raison de la taille accrue des ensembles de données ou d'exigences de formation de modèles plus complexes, le système peut évoluer en conséquence sans créer de goulots d'étranglement, de temps d'arrêt ou de perte de connectivité des utilisateurs. Cette évolutivité est essentielle à une époque où les charges de travail d’IA et d’apprentissage automatique évoluent rapidement, nécessitant des solutions de stockage qui suivent le rythme des demandes actuelles et sont à l’épreuve des progrès à venir en matière de recherche et de développement en IA.
Conclusion
Le cluster de stockage Quantum Myriad présente des performances exceptionnelles dans la gestion d'opérations d'E/S diverses et exigeantes. Il s'agit d'une solution polyvalente pour les charges de travail professionnelles traditionnelles et les applications d'IA de pointe. Grâce à son débit élevé et sa faible latence, les capacités de Myriad s'étendent au-delà des tâches traditionnelles d'entreposage de données qui sont cruciales pour maintenir des opérations fluides et une récupération efficace des données.
En plus de ces utilisations conventionnelles, les caractéristiques de performances robustes de Myriad en font un candidat idéal pour les exigences plus intensives des flux de travail d'IA. Ici, le cluster excelle dans les scénarios nécessitant un accès rapide aux données et un traitement à grande vitesse, essentiels pour former des modèles d'apprentissage automatique sophistiqués et exécuter des réseaux neuronaux complexes. La possibilité de lire et d’écrire rapidement de gros volumes de données partagées peut augmenter l’utilisation du GPU et garantir que les calculs d’IA peuvent être effectués sans délai.
Ces tests complets du cluster Myriad constituent une référence cruciale pour comprendre son évolutivité et ses performances dans des environnements qui combinent les besoins informatiques et commerciaux traditionnels avec les exigences élevées de la recherche et du développement en IA. Les résultats mettent en évidence les prouesses techniques de Myriad et son potentiel à faciliter les applications d'IA à enjeux élevés et les projets d'apprentissage automatique, soulignant son adaptabilité et son efficacité sur un large éventail de tâches informatiques. De telles capacités confirment le rôle de Myriad en tant que technologie fondamentale aidant les entreprises à faire face aux besoins actuels et aux paysages technologiques futurs.
Ce rapport est sponsorisé par Quantum. Tous les points de vue et opinions exprimés dans ce rapport sont basés sur notre vision impartiale du ou des produits considérés.
S'engager avec StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Flux RSS
