KIOXIA E1.S SSDによりAIワークフローがより効率化

AI 用の高密度 GPU サーバーについてはかなりの誇大宣伝があり、それは当然のことですが、現実には、ほとんどの AI トレーニング プロジェクトはワークステーションで始まります。現在、最大 6000 つの NVIDIA A24 Ada GPU を 7.68 つのワークステーションに組み込むことができますが、さらに難しいのは、これらの AI ボックスに堅牢なストレージを確保することです。私たちはこの問題について考え、高速ストレージを備えたいくつかの AI ワークステーションを最適に提供する計画を立てました。私たちは Supermicro および KIOXIA と協力して、7 台のサーバーに 1 台の XNUMXTB XDXNUMXP SSD を搭載し、推論トリックを組み込んだ驚くほど高性能な XNUMXU ストレージ サーバーを作成しました。

AI 用の高密度 GPU サーバーについてはかなりの誇大宣伝があり、それは当然のことですが、現実には、ほとんどの AI トレーニング プロジェクトはワークステーションで始まります。現在、最大 6000 つの NVIDIA A24 Ada GPU を 7.68 つのワークステーションに組み込むことができますが、さらに難しいのは、これらの AI ボックスに堅牢なストレージを確保することです。私たちはこの問題について考え、高速ストレージを備えたいくつかの AI ワークステーションを最適に提供する計画を立てました。私たちは Supermicro および KIOXIA と協力して、サーバーに 7 個の 1TB XDXNUMXP シリーズ データセンター NVMe SSD を搭載し、推論トリックを奥に備えた驚くべき能力の XNUMXU ストレージ サーバーを作成しました。

E1.S SSD を搭載したサーバー プラットフォーム、AI モデルをトレーニングするワークステーション、同じストレージ サーバーでの推論の間の点と点をどのように結びつけるつもりですか?説明には少し余裕を持たせてください。

AI ワークステーションは机の下にある必要はありません

いくつかの例外を除いて、高価な GPU を搭載したハイパワー AI ワークステーションは、エッジに配布すべきではなく、おそらくオフィス ビル内にさえも配布すべきではありません。問題はたくさんあります。主に、これらのエンドポイントはセキュリティ上の脅威やデータ漏洩のリスクが高く、重要なことに、十分に活用されていないという問題があります。ほとんどの AI 専門家は、LAN 構成が不適切なため、モデルのトレーニングに必要な膨大な量のデータにアクセスできません。

一方、これらの強力なワークステーションをデータセンターに設置すると、いくつかのメリットが得られます。まず、物理的なセキュリティが解決され、シン クライアントやネットワーク経由でデータではなくピクセルのみをプッシュするアクセスによって、リモート アクセスの懸念が軽減されます。このシナリオでは、データはワークステーションではなくサーバーに存在します。第 2 に、データセンター内のこれらのシステムのバックアップは、簡単ではないにしても、より高速です。 3 番目に、スマート プロビジョニングにより、これらのシステムを分散した AI 従業員と共有することで、会社全体の利用率を高めることができます。最後に、データセンターにいると、最も貴重な AI 資産であるデータにアクセスできるようになります。

この作業のために、ラボにあった 6 台の Lenovo ワークステーションをプロビジョニングしました。それぞれの構成は少し異なり、AMD GPU と NVIDIA GPU の両方を活用して、一部のモデルは異なるアクセラレータでより適切に動作する可能性があるため、柔軟性が提供されます。各システムには NVIDIA ConnectX-100 9100GbE カードがインストールされており、これはこれらのシステムがストレージに高速にアクセスできるようにするための基本です。次に、各システムは Dell Z100 XNUMXGbE スイッチに接続され、ストレージ サービスも接続されます。

KIOXIA XD7P シリーズ SSD による高速 AI ストレージ

AI ワークステーションのテストベッドを整理したら、ストレージ サーバーに目を向けます。この場合、使用しているのは、 Supermicro ストレージ スーパーサーバー SSG-121E-NES24R。この 1U サーバーには、基本周波数 8450 GHz の 28 コアと 56 スレッドのデュアル Intel Xeon Platinum 2.00H プロセッサが搭載されています。 8450H プロセッサは、3.50MB のキャッシュと 75W の TDP を備えながら、最大ターボ周波数 250 GHz に達することができます。 512GB の DDR5 RAM は、比較的控えめな RAM 占有面積です。サーバーは、接続のためにワークステーションと同じ NVIDIA ConnectX-6 100GbE NIC を使用します。推論用に NVIDIA A2 GPU もインストールしました。

ストレージに目を向けると、KIOXIA は 24 台の XD7P シリーズ データセンター NVMe SSD を送ってくれました。 KIOXIA XD7P シリーズ E1.S SSD は、特にオープン コンピューティング プロジェクト (OCP) データセンター NVMe SSD 仕様で概要が定められているパフォーマンス、電力効率、および熱要件に関して、最新のデータセンターに見られるハイパースケール アプリケーションのニーズに対応するように設計されています。

これらの SSD には厚さ 9.5 mm と 15 mm の E1.S バリエーションがあり、後者には熱放散を強化するヒートシンクが備えられています。キオクシア独自のXD7Pアーキテクチャは、コントローラー、ファームウェア、5つの要素で構成されています。^th-gen BiCS FLASH™ は、全体的な効率、信頼性、パフォーマンスに貢献します。新しいシリーズは、さまざまなストレージ需要に対応するために、1.92 TB ～ 7.68 TB の範囲の容量で提供されます。

主な機能には、電力損失保護 (PLP) やエンドツーエンドのデータ保護などがあります。これらは、予期しない電力損失が発生するシナリオでデータの整合性を維持するために重要です。さらに、自己暗号化ドライブ (SED) テクノロジーの利用により、データ セキュリティの層がさらに強化されます。

パフォーマンスに関しては、KIOXIA XD7P シリーズ SSD は、さまざまな容量にわたって優れた潜在的な数値を提供します。これらの SSD は、最大 7,200 MB/秒の連続読み取り速度と、大容量の最大 4,800 MB/秒の連続書き込み速度を実現し、データ集約型のタスクを効率的に処理できるように設計されています。さらに、それぞれ最大 1,650K IOPS と 200K IOPS の持続的なランダム読み取り速度と書き込み速度により、高 I/O 操作を要求するワークロードに適しています。

XD7P は、E1.S フォーム ファクターを活用して、パフォーマンスと密度の間の独自のバランスを実現します。これにより、新しいドライブは、クラウドおよびハイパースケール データセンターのフラッシュ ストレージ向けの将来を見据えたソリューションとして位置付けられ、これらの要求の厳しい環境の進化する要件に対応します。 XD7P の標準化されたサイズと内蔵ヒートシンクは、24U SuperServer SSG-1E-NES121R に 24 台のフロントマウント ドライブを収容する効率的な手段を提供し、サーバー密度を大幅に高めます。さらに、E1.S のホットスワップ機能は、熱を気にせずに高性能ワークロードを処理できる機能と相まって、データセンターの M.2 コネクタの実用的な代替品として位置付けられ、データセンターなどのストレージ ソリューションの効率とパフォーマンスが向上します。 。

XD7P は PCIe Gen4 x4 レーンをサポートします。ドライブは Gen4 または Gen5 バックプレーンで適切に動作します。

KIOXIA XD7Pシリーズ クイックスペック

KIOXIA XD7P シリーズ SSD を使用したスト​​レージ サーバーのパフォーマンス

このコンボのパフォーマンスをよりよく理解するために、まず内部パフォーマンス テストでストレージ サーバーを徹底的にテストしました。ストレージ サーバーのパフォーマンスを確認する際、ストレージの能力を特徴付けるために、Ubuntu Linux の JBOD 構成における完全な生のパフォーマンスに焦点を当てました。

4K ランダム ワークロードでのピーク スループットを調べ、次に 64K シーケンシャル ワークロードでのピーク帯域幅を調べました。これらのテストは、Ubuntu 22.04 環境で VDbench を利用して実行されました。

実験セットアップでは、Windows 記憶域スペースと SMB3 プロトコルを組み合わせて高速 KIOXIA ドライブを活用することにしました。記憶域スペースを利用して回復力のあるミラーリングされたストレージ プールを作成することで、データの整合性を確保し、I/O パフォーマンスを最適化することができました。

マルチチャネル機能や永続ハンドルなどの SMB3 の拡張機能により、大規模なデータ チャンクを高スループットで複数の GPU ワークステーションに直接ストリーミングでき、低速な CPU バウンド メモリに関連することが多い従来のボトルネックを回避できます。このセットアップには、複数のワークステーションが KIOXIA 搭載の共有ストレージに同時にアクセスしてデータをロードできると同時に、迅速なデータ取得が可能になるという XNUMX つの利点がありました。

前回のテストでは、ファイル システムを導入せずに KIOXIA XD7P シリーズ SSD のそのままのパフォーマンスを測定しましたが、Windows Server 2022 環境内のパフォーマンスをもう一度調べてみました。このセットアップでは、大規模なストレージ プール上にミラー化された仮想ディスクを配置し、NTFS ファイル システムを使用しました。

ミラーリングされたボリューム内で強力なパフォーマンスを確認するために、サーバー上でローカルに CrystalDiskMark を利用しました。このテストは、1MB の転送サイズおよびランダム 4K 転送速度でのシーケンシャル読み取りおよび書き込みのパフォーマンスを測定するように設定されました。ここでは、64 GB のファイル フットプリントで、読み取り 87.4 GB/秒、書き込み 18.4 GB/秒以上を測定しました。

このペーパーでは、AI ソリューション全体の総合的な機能を検討しているため、この種のパフォーマンス プロファイルを持つことは素晴らしいことですが、キオクシアは明らかに私たちが必要以上のものを提供してくれています。これは、AI ワークステーションの数を簡単にスケールアップしたり、データのスクラブやクリーニングなどの追加のタスクをストレージ サーバーに割り当てたり、あるいはその他のタスクを簡単に割り当てたりできることを意味するため、良いことです。

AI ワークステーションに大量の高速ストレージを供給

GPU ワークステーションをラボ ラックに配置し、KIOXIA ベースのオールフラッシュ 100U ファイル サーバーに 1GbE でネットワーク接続し、共有をセットアップして、これを実際にテストしてみました。テスト設定では、各ワークステーションから Dell Z100 9100GbE スイッチへの基本的な単一の 100GbE リンクを選択し、その後別の 100GbE リンクでストレージ サーバーに接続しました。

ここでは、KIOXIA ストレージ サーバーの Windows ファイル共有から、11.4GB/秒の読み取りと 11GB/秒の書き込みという驚異的な速度を測定することができました。

AI ワークステーションへのネットワーク上のこのレベルのパフォーマンスと密度は、多大な価値を提供します。 AI ワークステーションをローカル ストレージで埋めるのではなく、容量がほぼ無制限の 100 GbE を超えるさらにパフォーマンスの高いストレージを共有できます。

GenAI の実践 – LLM トレーニング データセット

大規模言語モデル (LLM) は、最近の IT ブロックで最も人気のあるモデルです。それらのトレーニングと微調整は、膨大なデータセットと、それらを処理するためのさらに大きな GPU 馬力を必要とする大規模な作業です。いくつかの GPU ワークステーションをロードし、実際のスタイルのテストを行うために、2012 年から 2021 年までのすべてのテキスト Reddit の投稿とコメントのダンプを取得し、いくつかの調整を加えました。 スタンフォード アルパカ トレーニング データセット、 LLaMaモデル 複数回の微調整試行用。目的は、大規模な現実世界のデータセットを適用した場合の LLaMa モデルの効率、精度、実行可能性を評価することでした。

Windows Server 2022 プラットフォームから、24 台の KIOXIA XD7P シリーズ SSD が 168 TB のプールにグループ化され、次に 83.7 TB のミラーリング ボリュームにグループ化されました。次に、このボリュームは、100 つのワークステーションのそれぞれへのファイル共有を使用して 84GbE ネットワーク全体で共有され、利用されます。使用される Supermicro Superserver ストレージ サーバーは、パフォーマンスに影響を与えることなく、5.6TB のボリューム全体を満たすデータ サイズを処理できます。現在使用されているデータ サイズは XNUMX TB ですが、ボリュームはさらに大きなサイズを処理できます。

多様な環境を提供するために、各 GPU ワークステーションは若干異なるように構成されています。私たちは各マシンを、共有データセット上でさまざまなモデルを扱う個々の開発者であるかのように扱い、トレーニングを配布しませんでした。この文脈で Windows を選択したのは、初期の研究または開発シナリオをエミュレートするためでした。

扱うデータの規模について説明すると、このテストのデータ セットは、LLM トレーニング データ用の 16,372 ファイルで構成され、3.7 TB のディスク領域を消費し、さらに 8,501 個の画像トレーニング データ用ファイルで 1.9 TB を消費しました。合計 24,873 個のファイル、つまり 5.6TB を処理しました。データセットのサイズを意図的に制限し、ストレージの全容量をこれらの実験に利用しなかったことに注意することが重要です。そうでなければ、このプロジェクトのトレーニングまたは微調整プロセスに多大な時間がかかっていたでしょう。この構成により、すべてのワークステーションがデータセットを共有し、コラボレーションのためにチェックポイントとシャードをサーバーに保存できました。

どちらの実験でもソフトウェア スタックは単純な構成であり、次の機能に頼っていました。 アナコンダ Linux 用 Windows サブシステム (WSL)。 Anaconda は、Python ベースの機械学習ライブラリと依存関係を管理するための堅牢な環境を提供し、GPU ワークステーション間でモジュール式で簡単に複製可能なセットアップを可能にします。 WSL は、Windows と Linux ベースのユーティリティ間のギャップを埋めるのに役立ち、Linux 固有のデータ操作およびオーケストレーション ツールを Windows ワークステーション上でシームレスに実行する柔軟性を提供します。データの前処理用のシェル スクリプトを実行し、統合されたワークフロー内で Python ベースのトレーニング ジョブを開始できます。このルートを選択した理由の 1 つは、構成が簡単であるだけでなく、混合 GPU 環境で競争の場を平等にするためでもありました。

トレーニングの過程で、いくつかの重要な観察が行われました。

1. データの多様性: 約 10 年にわたる Reddit の投稿とコメントの統合により、トピック、語彙、会話のコンテキストの折衷的な組み合わせがモデルに提示されました。この豊かな多様性により、モデルが時間の経過とともに生じるさまざまなニュアンス、感情、文化の変化を理解し、適応するための包括的なプラットフォームが提供されました。
2. モデルのスケーラビリティ: このような膨大な量のデータの処理は、LLaMa モデルのスケーラビリティに対するリトマス試験紙でした。トレーニング エポックが増加するにつれて、関連する応答を予測して生成するモデルの能力が大幅に向上し、大規模なアプリケーションへの可能性が強調されたことがわかりました。約 6 回のテストではオーバーフィッティングが懸念されましたが、一般的な LLM モデルを作成するよりも GPU とネットワーク共有に負荷をかけることが目的だったので、このテストでは必ずしも懸念されませんでした。
3. リソースの最適化: 膨大な GPU 馬力が必要となるため、計算リソースを効率的に利用することが重要でした。最適なパフォーマンスを確保するために、動的な負荷分散、定期的なチェックポイント、およびオンザフライのデータ拡張技術が採用されました。
4. 転移学習の有効性: Stanford Alpaca トレーニング データセットを Reddit データと組み合わせて使用​​することは、モデルの転移学習能力を評価するのに役立ちました。アルパカ データセットの固有の構造と学術的性質は、Reddit データの非公式で多様な性質と並行して、刺激的な課題を引き起こしました。結果は、LLaMa が異種ソースからの知識をシームレスに統合し、汎用性と適応性を備えていることを示しました。
5. 倫理的考慮事項: Reddit の膨大なデータセットは情報の宝庫ですが、個人を特定できる情報が確実に除外され、データが倫理的かつ責任をもって使用されることが重要です。ユーザーのプライバシーを守るためにモデルを公開するには、厳格なデータクリーニングと匿名化プロセスを導入する必要があります。

この演習では、キオクシアの高密度ドライブがトレーニング効率の向上に重要な役割を果たしていることを強調しました。データセットの巨大なサイズとモデル トレーニングの反復的な性質を考慮すると、このような実験ではストレージの速度と容量がボトルネックになることがよくあります。 KIOXIA のドライブを使用すると、データセットの複数のインスタンス、中間モデルの重み、および数十の微調整されたチェックポイントを保存するという贅沢が与えられました。読み取りおよび書き込み速度が速いため、迅速なデータ取得が容易になり、以下に示すように、さまざまなハイパーパラメータを使用した微調整の複数回の繰り返しを並行して処理できるようになりました。

これは、最適な動作チェックポイントを特定するという追求において非常に重要でした。新しく構築された KIOXIA を利用したスト​​レージ サーバーのおかげで、ストレージの制限に制約されるのではなく、モデルの改良、パラメーターの微調整、結果の評価に集中することができました。したがって、高密度ドライブは単なるストレージ ソリューションではなく、実験段階を大幅に加速する極めて重要な資産でした。これにより、LLaMa モデルの可能性をより徹底的かつ効率的に探索できるようになり、独自の新しい畳み込みニューラル ネットワーク (CNN) を開発できるようになりました。

初心者向け、畳み込みニューラル ネットワーク (CNN) は、主に画像処理やコンピューター ビジョン タスクで使用される特殊なタイプの深層学習アーキテクチャです。その独特の機能は、入力画像から特徴の空間階層を自動的かつ適応的に学習する畳み込み層にあります。完全に接続された層に依存する従来のニューラル ネットワークとは異なり、CNN は畳み込みフィルターを適用することでデータの空間構造を利用し、入力データを小さな塊または受容野で処理します。これにより、単純なものから構築することで、エッジ、テクスチャ、より複雑な構造などの複雑なパターンを検出できるネットワークが実現します。データがネットワークの奥深くに進むにつれて、これらのパターンはより抽象化され、CNN が多様で複雑な視覚エンティティを階層的に認識して分類できるようになります。

複数の微調整の試みを通じて、このモデルは大規模なデータセットを効率的に処理する能力を実証し、関連性があり、コンテキストを認識した、微妙なニュアンスの出力を生成する可能性を強調しました。 LLM が注目を集めるにつれて、このような実験はその実際の用途と限界についての貴重な洞察を提供し、将来的にはより洗練されたユーザー中心の AI ソリューションへの道を切り開きます。

サーバー推論機能

同じデータセットに対して推論操作を実行すると、合理化された構造が提供され、複雑なデータ管理が簡素化されます。当社のサーバーは単なるストレージ ツールではなく、データの取り込みや準備などの推論関連のアクティビティを処理する機能を備えています。

これは、標準化されたカメラからのコンピューター ビジョン オブジェクト分類などで遭遇するものよりも広いストレージ フットプリント プロファイルです。それでも、これはプラットフォームのパフォーマンスの柔軟性と一貫性を示しています。以下のグラフは、ロードされた順序ではなくサイズによってソートされています (いくつかの外れ値を除く)。読み取り時間とライトバック時間は適切にスケールされています。

このプロットは、ドライブとサーバーの線形パフォーマンスを示すために最小から最大の順に並べ替えられていることに留意することが重要です。実際の実行とデータセットはランダム化されているため、1Mb ファイルの読み取りと書き込みが行われ、その直後に 20Mb ファイルが続く可能性があります。実際の処理の種類は順不同です。読み取り時間の範囲は 10 ミリ秒から 25 ミリ秒で、異常値は 70 ミリ秒以上の範囲に達しました。

以下のグラフは、偏差が少なく、同様に直線的に書き出す様子を示しており、12 ミリ秒から 118 ミリ秒の範囲の同じファイルの書き込みを示しています。

覚えておくべきもう 10.5 つの重要な情報は、このプロットは、同じデータセットに対する推論を同時に実行している 1000 つの GPU ワークステーションにわたる追跡からの集計であるということです。 KIOXIA ドライブは、モデルが使用するシリアル化された処理を除き、59.62 枚の画像のランダム データセットに対して推論を実行する 59 つの GPU ワークステーションに、XNUMX GB という驚異的な容量を提供し、書き戻すことができました。プロセス全体で XNUMX つの画像を読み取って書き戻すのにかかる時間は、わずか XNUMX 秒 (XNUMX ミリ秒) でした。

この設計は複数のワークステーションまたは GPU サーバーにスケールアップされるため、いくつかのオプションにより速度と遅延が改善される可能性があります。 NVIDIA の GPUDirect ストレージを RDMA (リモート ダイレクト メモリ アクセス) プロトコルと組み合わせて実装すると、高密度共有ストレージから GPU メモリへの直接のシームレスなデータ移動が容易になります。このアプローチは、CPU とシステム メモリのボトルネックを効果的に回避します。 NVMe over Fabric と NVIDIA ネットワーク機器を活用することで、大量のデータをほぼリアルタイムで GPU メモリにプリロードできます。これは、LLM の膨大なデータセットと計算需要を考慮すると、LLM を扱う場合に特に有益です。このような機能により、データ キャッシュの必要性がなくなり、複数のワークステーションが共有ストレージ プールから同時にデータを読み取り、取り込むことができるようになります。

最終的な考え

大規模なモデルの I/O ボトルネックに対処することは、特に膨大なデータセットを扱う場合、機械学習の継続的な進化にとって重要です。一元化された高速ネットワーク共有には、従来のローカル ストレージに比べて 3 倍の利点があります。

• まず、トレーニングのために大規模なデータセットを個々のワークステーションに移行する必要がなくなるため、運用が合理化されます。これにより、機械学習プロジェクト、特に深層学習モデルを含むプロジェクトに支障をきたす可能性がある I/O ボトルネックに直接対処できます。
• 第 2 に、一元化されたアプローチを選択することで、ワークステーションの貴重な PCIe レーンが過剰な、または到達不可能な量のローカル ストレージで圧迫されることを回避できます。高速接続のおかげで、より多くの GPU がより効率的にデータを並列処理できるようになり、機械学習の操作がよりスリムで機敏になる可能性があります。
• 第三に、一元化されたストレージは本質的により優れたセキュリティ対策をもたらします。データが安全な単一の場所に保存されると、アクセス制御の管理とセキュリティ プロトコルの実装が容易になり、データ侵害、物理的脅威、または不正アクセスのリスクが軽減されます。

さらに、データを一元化することで、データの一貫性が向上し、データの冗長性が追加されます。ワークステーションは単一のソースから最新のデータにアクセスし、古いまたは一貫性のないトレーニングやデータやモデルのチェックポイントの微調整による結果の不一致を最小限に抑えます。これにより、データ管理が簡素化され、ストレージ領域が節約されます。

AI と機械学習の極超音速に進化する状況において、スケーラビリティ、効率、セキュリティがますます重要になる中、KIOXIA E1.S プラットフォームのようなテクノロジーによって提供される集中型の高密度高速ストレージへの移行は、説得力のあるケースとなります。これは、パフォーマンスの向上だけでなく、データ管理とモデルのトレーニングへのアプローチ方法の根本的な変革にとっても重要です。

KIOXIA XD7Pシリーズ E1.S NVMeデータセンタースペックシート

このレポートは、KIOXIA America, Inc. の後援を受けています。このレポートで表明されているすべての見解と意見は、検討中の製品に対する当社の公平な見解に基づいています。

StorageReview と連携する

ニュースレター | YouTube |ポッドキャスト iTunes/Spotifyは | Instagram | Twitter | TikTok | RSSフィード