Quantum Myriad: あらゆるワークロード、特に AI に対応する最新のアーキテクチャ

Quantum Myriad は、要求の厳しい AI タスクを含むさまざまなワークロードを処理できる、最新の柔軟な SDS プラットフォームです。

2023 年、Quantum は Myriad を使用して、ソフトウェア デファインド ストレージに対する新しい現代的な取り組みを開始しました。私たちは、 Myriad を深く掘り下げる 昨年末にその非常に有能で回復力のあるアーキテクチャに感銘を受けました。 Myriad の多様な機能セットとプロトコルの柔軟性により、企業のファイル共有ニーズを超えてユースケースの範囲が拡大します。そして現在、AI ほど需要のあるアプリケーションはありません。

AI は、意思決定に新たな洞察をもたらし、複雑なプロセスを自動化し、企業が顧客と対話して業務を管理するための新しい方法を生み出すことにより、企業の状況を根本的に変革しています。 AI が影響を及ぼしている主な分野をいくつか紹介します。

オートメーション：AI は、チャットボットを使用したデータ入力やカスタマー サポートなど、エラーが発生しやすい日常的なタスクを自動化し、サプライ チェーン管理などの複雑なプロセスを最適化する方法も見つけます。これにより時間が節約され、人々はより創造的または戦略的なタスクに集中できるようになります。

データ解析: 膨大なデータの山を掘り下げて、人間よりも早くパターンと洞察を見つけます。これにより、企業はより賢明な意思決定を行い、市場動向を予測し、顧客をより深く理解できるようになります。

パーソナライゼーション: 企業は AI を使用して、Netflix や Spotify で見られるユーザーの好みを学習するレコメンデーション エンジンなど、サービスやマーケティングを個々の顧客に合わせて調整します。

セキュリティ強化: AI はサイバーセキュリティの主要なプレーヤーであり、脅威を即座に検出して対応するのに役立ちます。常に警戒しており、怪しいものはないかスキャンしています。

革新的手法: AI は、製品のデザイン、外観、感触、メンテナンスのあらゆる側面をシミュレートすることで、医薬品から新素材に至るまで、新しい製品やサービスの開発を支援し、イノベーションを推進します。医薬品の物理的な試験の前に結果を予測することもできます。

スケーラビリティと柔軟性の課題

従来のストレージ システムは効率的に拡張できないことがよくありますが、これは大量のデータを生成および処理する AI アプリケーションにとって不可欠な機能です。従来のストレージでは、容量を増やすために大幅なダウンタイムや複雑なアップグレード、ネットワーク構成と割り当てが必要になる場合があります。これは、迅速なスケーラビリティ、ゼロ ダウンタイム、パフォーマンスを損なうことなくモデルを展開する必要がある動的 AI 環境では実現できません。

AI ワークロードには高いスループットも必要です と 同時に低遅延を実現します。通常、機械式ドライブと時代遅れのネットワークが搭載されているレガシー システムでは、これらの速度要件を満たすことができず、AI の運用を妨げるボトルネックが発生します。最新の AI は、NVMe や GPU アクセラレーションなどの高速テクノロジーから大幅な恩恵を受けていますが、これらは古いシステムと互換性がないことがよくあります。

AI アプリケーションには、さまざまなソースからのリアルタイムのデータ アクセスと分析が必要です。従来のストレージはサイロ化されていることが多く、データの統合や移動を妨げ、効果的なデータ分析や機械学習を制限します。従来の管理ツールも、AI に必要な複雑なデータ ガバナンスと自動階層化に苦労しています。

従来のストレージのメンテナンスとアップグレードもコストがかかり、電力、冷却、スペースの運用コストが高くつくなど、AI の需要に対して非効率的です。新しいテクノロジーをサポートするために古いシステムを改修することは、経済的に持続不可能です。

AI は、自動階層化、リアルタイム分析、暗号化などの堅牢なセキュリティ対策などの最新のストレージ機能を利用して成長します。従来のシステムには、AI データを保護し、規制基準を満たすために不可欠なこれらの重要な機能が欠けています。

AI の変革の可能性を活用するには、データ管理とストレージのインフラストラクチャを最新化することが不可欠です。 AI の複雑さに合わせて設計された次世代ストレージ ソリューションは、パフォーマンス、拡張性、コスト効率を大幅に向上させ、革新的なアプリケーションとビジネス モデルを促進します。

クォンタム・ミリアドの紹介

Quantum Myriad は、最新のアプリケーション、特に高スループットと低遅延を必要とするアプリケーションの要求を満たすように設計された、高性能のソフトウェア デファインド オールフラッシュ ストレージ ソリューションです。これは、AI、データ サイエンス、VFX、アニメーションに特に当てはまります。 Myriad のクラウドネイティブ アーキテクチャは、オンプレミスでも AWS などのパブリック クラウド環境でも、柔軟性、導入の容易さ、システム変更への自動応答を提供します。

Myriad の設計は、一貫した低遅延と高帯域幅を実現することに重点を置いています。これらの品質は、超高速のデータ処理とリアルタイム パフォーマンスを要求するアプリケーションにとって絶対に必須のものです。

Myriad のアーキテクチャは柔軟性が高く、小規模な展開にも大規模な展開にも簡単に対応できます。小規模なシステムから始めて、無数のクラスターを拡張するのは簡単です。ノードを追加すると、効率とバランスを保ちながら直線的にスケールアップします。

Myriad を使用したクラスターの管理は簡単です。ゼロクリックのストレージ拡張やユーザーフレンドリーな管理ポータルなどの機能が満載されており、管理上の継続的な注意の必要性を軽減します。 Myriad は、ノード全体に分散されたトランザクションのキーと値のストアによってデータの整合性をカバーし、利用可能なすべてのストレージ ノードにわたってエラー修正が管理されます。

Myriad には優れたネットワーク サポートが付属しています。 RDMA over Converged Ethernet (RoCE) のサポートと、BGP ルーティングによる既存のネットワーク展開との統合により、高度なネットワーク機能を活用しながら、Myriad クラスターへのデータの出入りが簡単に行えます。

Myriad はユーザーフレンドリーになるように設計されており、セットアップと実行、または追加の共有場所の追加に最小限の手順を必要とします。これは、特にこのソリューションが標準の既製サーバーで実行されるため、ストレージのニーズの変化に迅速に適応する必要がある企業に最適です。さらに、クラウドを検討している場合、Myriad は AWS などのプラットフォームとうまく連携するため、オンプレミスのセットアップを超えて拡張できます。

テストされた量子無数の構成

テストされた Quantum Myriad は 15 つのノードの基本構成でした。各ノードには XNUMX 台の XNUMXTB SSD が装備されており、クラスター全体で合計すると大量の高速アクセス ストレージになります。この基本セットアップにより、リアルタイム処理と AI 計算に不可欠な、高 I/O 操作と迅速なデータ取得に必要な速度を維持しながら、かなりのデータ ストレージ容量が可能になりました。ストレージ ノードは SuperMicro から指定および構成され、NVMe ドライブは Samsung からすぐに入手できます。

テストでは、5 ノード クラスターで構成された Myriad プラットフォームを使用しました。各プラットフォームには次の主要な仕様があります。

• シングル 1010 コア AMD EPYC CPU を搭載した Quantum Myriad N64 ストレージ ノード
• 10 x 15.36TB NVMe TLC
• デュアル ポート 2GbE イーサネット ポート x 100

Myriad に不可欠なのは、すべてのストレージ ノードにわたって相互接続された冗長ペアに展開されたロード バランサ ノードです。これらは、ストレージ ノードとの間のデータ トラフィックを管理する上で重要です。ロード バランサのペアにより、ネットワーク トラフィックがストレージ ノード間で均等に分散され、単一のノードがボトルネックになるのを防ぎます。データ アクセスと処理を同時に行う必要がある場合、データ アクセスの速度と信頼性がシステム全体のパフォーマンスに大きな影響を与える可能性がある環境では、これは非常に重要です。

複数のノードとロード バランサを使用すると、パフォーマンスが向上し、システムの信頼性とフォールト トレランスが強化されます。ストレージとネットワークの負荷を分散することで、1 つのノードに問題が発生した場合でも、システムは効率的に動作し続けることができます。この設定は、重要なビジネス アプリケーションで稼働時間を維持し、データの整合性を確保するために不可欠です。

基本構成は柔軟になるように設計されており、必要に応じてストレージ ノードを追加することでスケールアップできます。追加のノードを組み込むか、より高密度の NVMe ドライブを使用するか、あるいはその両方によって、ストレージ容量を拡張できます。たとえば、現在 30 TB ドライブを使用しているシステムに 15 TB ドライブを備えた新しいストレージ ノードを追加したり、既存の設置面積内でより高密度のドライブ モジュールにアップグレードしたりできます。このスケーラビリティは、データ ニーズの増加が見込まれる企業や、変動するデータ使用パターンを経験する企業にとって不可欠です。

Comino GPU 負荷生成サーバー

Myriad システムを実行してベンチマークを生成するために、1 組の Comino Grando システムを使用しました。 Comino Grando システムは、負荷時の GPU 効率と安定性を最大化するように特別に設計された高性能の水冷セットアップです。これらは、AI、データ分析、グラフィックスを多用するアプリケーションなど、負荷の高い計算タスクに特に適しています。このテスト用に構成した主要な側面の概要は次のとおりです。

Comino Grando は、プロセッサーと GPU に高度な液体冷却システムを活用しています。これには、液滴のない接続と、激しい負荷の下でもパフォーマンスを維持するために冷却剤の流れを効率的に管理する大型の水分配ブロックが含まれます。この設定により、パフォーマンスが向上し、ノイズが最小限に抑えられます。

使い方 nvidia-smi top -mp このコマンドは、システム内の GPU と NIC のマッピングと、データが通過する必要があるパスを表示します。伝説は次のとおりです。

X = 自己 
SYS = NUMA ノード間の PCIe および SMP インターコネクトを通過する接続 (例: QPI/UPI) 
NODE = PCIe を通過する接続および NUMA ノード内の PCIe ホスト ブリッジ間の相互接続 
PHB = PCIe および PCIe ホスト ブリッジを通過する接続 (通常はCPU) 
PXB = 複数の PCIe ブリッジを経由する接続 (PCIeホストブリッジを経由せずに) 
PIX = 接続を通過する場所 最も 単一の PCIe ブリッジ

ここから、最適なパフォーマンスを得るために NIC1 および NIC4 で GPU5 を使用したくないことがわかりますが、これは合成テストで限定的な役割を果たします。

量子無数の AI テスト

私たちは、Quantum Myriad ストレージ クラスターのパフォーマンスと現実世界の AI ワークロードへの影響を評価する技術分析を実施しました。私たちの分析は、リソースの使用率を最適化し、効果的に拡張するクラスターの能力に焦点を当てました。このテスト全体を通じて、NVIDIA ConnectX-6 200GbE NIC とデュアル NVIDIA A100 GPU を搭載したハイエンド Comino ラック ワークステーションを採用しました。これらは、大規模な AI プロジェクトで採用される可能性があるものと同様の堅牢なテスト環境を表すため、非常に重要です。

これらのテストの主な目的は、集中的な IO 操作を処理する Quantum Myriad クラスターの能力と、AI 計算に重要な大容量 GPU からのスループットにどの程度対応できるかを評価することでした。 AI ワークロードがデータ セットの高速処理に大きく依存していることを考えると、GPU 処理能力に匹敵する速度でデータを配信するストレージ ソリューションの能力は、システム全体の効率とパフォーマンスに直接影響を与えます。

ここでのテストのための主なツールは、NVIDIA の GPUDirect Storage I/O (GDSIO) でした。 GPUDirect は、ストレージ システムと GPU 間のデータ転送効率を向上させ、ハイ パフォーマンス コンピューティング、人工知能、ビッグ データ分析で重要なワークフローを合理化するために設計された極めて重要なテクノロジです。

このテクノロジーにより、ストレージから GPU メモリへのダイレクト メモリ アクセス (DMA) が可能になり、事実上 CPU をバイパスできます。これにより、不必要なデータのコピーが排除され、待ち時間が短縮され、スループットが向上します。 GDSIO は GPUDirect の合成実装であり、特に大規模なデータセットの高速処理を必要とするアプリケーションを代表します。これには、機械学習モデルのトレーニングやリアルタイム データ分析が含まれます。また、ストレージとネットワーク インフラストラクチャのプロファイリングと調整のフィードバックも提供します。

ストレージ ベンチマークのコンテキストでは、GDSIO は、GPU を多用する環境でストレージ ソリューションのパフォーマンスを正確に評価する上で重要な役割を果たします。 GDSIO は、データ転送のためのより直接的なパスを提供することにより、GPU アクセラレートされたアプリケーションをサポートする際のストレージ システムの真の可能性を測定するためのベンチマークを可能にします。

AI 共有構成

Myriad にログインすると、クラスターの現在のパフォーマンスと仕様の概要を示すダッシュボードがユーザーに表示されます。ユーザーは、IOPS、スループット、レイテンシ、使用状況などのテレメトリ データを簡単に表示できます。

いずれかのグラフの上にマウスを置くと、非常に詳細なパフォーマンス情報が表示されます。

[ファイル システム] 画面を見ると、現在構成されている共有のマウント ポイントが直感的に表示されます。

[ノード] ページは興味深いもので、ポート アクティビティと NVMe ドライブとともに、クラスター、コントローラー、ロード バランサーの物理マップが表示されます。

いずれかのドライブをクリックすると、ホストによって報告されたステータスが表示されます。

「共有」に進むと、ユーザーは必要に応じて共有を簡単に構成し、さまざまなオペレーティング システムに共有をマウントするための手順を取得できます。

私たちは Quantum と協力して、テスト用に専用の NFS 共有を設定しました。これらは次の場所にマウントされました。 /mnt/myriad/

これは、簡単なポイントアンドクリック構成セットアップを提供する、ユーザーフレンドリーな Myriad UI を使用して実現されました。テスト期間中、SMB オプションは早期アクセスでしたが、NFS は引き続き Linux ベースのワークロード マシンに優先されるプロトコルでした。

NFS マウント ポイントは 500 TB のスペース用に構成されていますが、ファイル システムを拡張することで必要なものを何でも使用できます。ペナルティなしでストレージを自由にオーバープロビジョニングでき、サイズ設定に厳しい制限はありません。これは、本質的に NVMe SSD 上のデータのフットプリントを削減する Myriad のデータ圧縮を考慮すると非常に興味深いものになります。

ホストごとに 4 つのマウント ポイントがあるため、各 GPU には独自のサブフォルダーがあり、独自の NIC を使用して NFSvXNUMX の制限を回避します。

量子無数 AI の結果と分析

まず、loadgen 実行の 1 つの全体的なパフォーマンスを見てみましょう。ストレージを 1 つの GPU から見たこのサンプルは、すべてのノード/GPU 全体で確認できるパフォーマンスを表しています。

テスト結果により、さまざまな IO 操作およびサイズにわたる Myriad のパフォーマンスに関する重要な洞察が明らかになります。私たちの調査結果には次のようなものがあります。

• 小さいブロックと大きいブロックのパフォーマンス: テストでは、小さいブロック サイズ (4 KiB) を処理する場合と大きいブロック サイズ (1024 KiB および 4096 KiB) を処理する場合のスループットと遅延に顕著な違いがあることがわかります。たとえば、4096 KiB での大規模ブロック RANDREAD 操作では、約 9.64 GiB/秒の最高スループットが実証され、平均レイテンシーは 6,481.70 マイクロ秒と比較的低くなりました。これは、大規模なデータセットが頻繁にアクセスされる機械学習モデルのトレーニングで一般的な大規模なデータ処理タスクで優れたパフォーマンスを示しています。
• GPU 飽和能力: 大規模なブロック テスト、特に RANDREAD 操作で達成されたスループットは、Myriad ストレージ クラスターが、推論検索タイプのワークロードで NVIDIA A100 GPU をサポートし、トレーニング ワークロード中にチェックポイントを中央の場所にオフロードできる能力を十分に備えていることを示唆しています。 A100 がディープ ラーニング用に大量のデータを処理できることを考えると、これらの GPU がデータを待ってアイドリング状態にならないようにして、計算効率を最大化するには、高いスループット レートが不可欠です。
• 低ブロック サイズの処理: 逆に、4 KiB ブロックでの操作を調べると、操作数とレイテンシが大幅に増加し、スループットが大幅に低下することが観察されました。このシナリオは、オンライン トランザクション処理システムや多数の小さなクエリを処理するデータベースなど、複数の小さなファイル トランザクションが発生する環境でのパフォーマンスを理解するために重要です。

しかし、待ってください、もっとあります！

4K テストに焦点を当てると、Myriad にさらに多くの GPU を搭載するにつれて、事態は興味深い方向に進みました。検出フェーズの最初の実行で判明したように、マウント プロトコルの制限により、Myriad は意図したとおりに動作していましたが、驚くべき展開がありました。いくつかのスクリプト ハックのおかげで、Myriad をすべての GPU に同時にロードしたところ、素晴らしい結果が得られました。 Myriad は、基本的に同じパフォーマンスをすべてのノードに同時に提供しました。

4K ファイルサイズ

以下は、4K ワークロードの XNUMX つの同時実行をまとめたものです。

ファイルサイズ 4MB

Quantum Myriad の独自のストレージ アーキテクチャは、パフォーマンスを損なうことなく、GPU 操作と同時ユーザー アクティビティの両方にメリットをもたらす二重アクセシビリティを提供します。これは、AI や機械学習サーバーのユーザー コミュニティやエンドユーザー アナリストのアクセスと同様、同時のデータ アクセスと処理が必要な要求の高い環境で特に効果的です。 Myriad は、他のユーザー操作と並行して GPU の大規模データ ブロックへのアクセスをサポートすることで、リソースの効率的な利用を確保し、ボトルネックを防ぎます。これは、リアルタイム分析や AI モデル トレーニングなどのアプリケーションで高い動作速度とデータの精度を維持するために非常に重要です。

ここで注目に値するのは、Quantum Myriad の優れた点は、NFSv4 の制限に至るまで複数のデータ ストリームを適切に処理できる機能であるということです。NFSvXNUMX の制限は、GPU の負荷が高い場合に簡単に影響を受ける可能性があります。システムの高度なデータ管理機能により、これらの制限が Myriad プラットフォーム全体のパフォーマンスに影響を与えることがなくなり、高要求の GPU タスクによって同じネットワーク上の他の操作が遅くなることはありません。この機能は、同時タスクのパフォーマンスを犠牲にすることなく堅牢なデータ処理機能を必要とする業界にとって特に有益であり、すべてのユーザーにとってシームレスなワークフローをサポートします。

現実世界への影響とスケーリング

Quantum Myriad は、現実世界のアプリケーションやスケーリング シナリオと簡単に連携できる可能性があります。高スループットと低レイテンシで大きなブロック サイズを処理できる機能は、大規模なデータセットがバッチで処理される深層学習モデルのトレーニングなどの AI ワークロードにメリットをもたらします。高いスループットにより、遅延なくデータが GPU にフィードされることが保証されます。これは、高い使用率と効率的な学習を維持するために重要です。

もう 1 つの重要な特性はスケーラビリティです。私たちのテストにおける Quantum Myriad ストレージ クラスターのパフォーマンスは、大規模な構成を効率的にサポートできることを示唆しています。接続されたデバイス (追加の GPU やその他の高性能コンピューティング ユニットなど) の数が増加するにつれて、ストレージ システムはボトルネックになることなく高レベルのデータ配信を維持できるようになります。

Quantum Myriad ストレージ クラスターの、大規模ブロック RANDREAD 操作時のパフォーマンスは、テスト中に特に顕著でした。この機能は、最新の AI および機械学習フレームワークのニーズを考慮する場合に重要です。

RANDREAD テストは、その優れたスループットにより、大量のデータを迅速かつ効率的に取得する Myriad の能力を示しています。これは、データにアクセスできる速度が運用環境の AI モデルのパフォーマンスに直接影響する推論ワークロードのコンテキストで特に重要になります。リアルタイムの意思決定のために大規模なデータセットへの迅速なアクセスが必要になることが多い推論タスクでは、Myriad クラスターが提供する高速データ取得機能から大きなメリットが得られます。たとえば、自動化システムを駆動するリアルタイム画像認識や複雑な意思決定エンジンなどのアプリケーションでは、最小限の遅延で大きなデータ ブロックを取得できるため、推論エンジンがデータの処理で停止することなく最高の効率で動作できるようになります。

テスト段階で、Myriad は、トレーニング ワークロード中のチェックポイント データの処理における堅牢性を実証しました。これは、書き込み操作中のクラスターのパフォーマンスと同様に重要です。最新の AI モデル、特に深層学習ネットワークのトレーニングには、チェックポイントが重要な反復プロセスが含まれます。特定の反復におけるモデルの状態を表すこれらのチェックポイントは、進行状況が失われず、最初から再トレーニングすることなくモデルを効果的に微調整できることを保証するために、定期的に保存する必要があります。 Myriad は、大規模な書き込み操作をストレージ クラスターに効率的にオフロードして、I/O 時間を短縮し、GPU がデータ処理ではなく計算に集中できるようにします。

Myriad のアーキテクチャでは、データセット サイズの増加やより複雑なモデル トレーニング要件など、データの拡張要求に応じて、ボトルネック、ダウンタイム、またはユーザー接続の切断を引き起こすことなく、システムがそれに応じて拡張できるようにします。この拡張性は、AI と機械学習のワークロードが急速に進化している時代に不可欠であり、現在の需要に対応し、今後の AI 研究開発の進歩に対して将来も保証されるストレージ ソリューションが必要です。

まとめ

Quantum Myriad ストレージ クラスターは、多様で要求の厳しい I/O 操作の管理において優れたパフォーマンスを発揮します。これは、従来のビジネス ワークロードと最先端の AI アプリケーションに対応する多用途のソリューションです。高スループットと低遅延のおかげで、Myriad の機能は、スムーズな運用と効率的なデータ取得を維持するために重要な従来のデータ ウェアハウス タスクを超えて拡張されています。

これらの従来の用途に加えて、Myriad の堅牢なパフォーマンス特性により、AI ワークフローのより集中的な要求に最適な候補となります。このクラスターは、高度な機械学習モデルのトレーニングや複雑なニューラル ネットワークの実行に不可欠な、迅速なデータ アクセスと高速処理を必要とするシナリオに優れています。大量の共有データを迅速に読み書きできる機能により、GPU の使用率が向上し、AI 計算を遅延なく実行できるようになります。

Myriad クラスターのこの包括的なテストは、従来の IT およびビジネスのニーズと AI 研究開発の高い要求が組み合わされた環境におけるそのスケーラビリティとパフォーマンスを理解するための重要なベンチマークとして機能します。この結果は、Myriad の技術的能力と、一か八かの AI アプリケーションや機械学習プロジェクトを促進する可能性を浮き彫りにし、幅広い計算タスクにわたる適応性と効率性を強調しています。このような機能は、企業が現在のニーズと将来の技術情勢に対応する際にサポートする基礎技術としてのミリアドの役割を裏付けています。

クォンタム・ミリアド製品ページ

このレポートはクォンタムの後援を受けています。このレポートで表明されているすべての見解や意見は、検討中の製品に対する当社の公平な見解に基づいています。

StorageReview と連携する

ニュースレター | YouTube |ポッドキャスト iTunes/Spotifyは | Instagram | Twitter | TikTok | RSSフィード