Dell PowerEdge ダイレクト ドライブと PERC 12 の比較

のレビューを公開するにあたり、 デル PowerEdge R760 R760 には多くのストレージ構成オプションがあり、最初のレビューが長すぎる可能性があることに注意して、ストレージの数値については意図的に保留しました。このレビューでは、Dell PowerEdge が Gen4 NVMe SSD でサポートするストレージ オプションと、Dell がダイレクト ドライブと呼ぶもののパフォーマンス プロファイルと PERC 12 ハードウェア RAID カードを詳しく調べます。

のレビューを公開するにあたり、 デル PowerEdge R760 R760 には多くのストレージ構成オプションがあり、最初のレビューが長すぎる可能性があることに注意して、ストレージの数値については意図的に保留しました。このレビューでは、Dell PowerEdge が Gen4 NVMe SSD でサポートするストレージ オプションと、Dell がダイレクト ドライブと呼ぶもののパフォーマンス プロファイルと PERC 12 ハードウェア RAID カードを詳しく調べます。

Dell PowerEdge NVMe バックプレーン オプション

デルは、16G PowerEdge サーバーでさまざまなストレージ バックプレーンを提供しています。 R760 を構成する場合、約 50 のドライブ シャーシ オプションがあります。一部はレガシー サポート (PERC 11 など) ですが、重要なのは、シャーシの決定が重要であるということです。これは、PowerEdge サーバーで Gen3 SSD を入手する唯一の方法である、今後の E5.S NVMe SSD サポートも考慮していません。私たちは見ました Dell PowerEdge R3 の E660.S Gen5 および EDSFF フォーム ファクターの利点について詳しく知りたい場合は、

目の前のタスクに戻ります。このレビューでは、PERC 12 HWRAID カード オプションと比較して、デルのダイレクト ドライブ オプションを選択することの影響を理解したいと考えています。前述したように、ここで明示的に焦点を当てているのは、Gen4 U.2/U.3 NVMe SSD のみです。今のところ、SATA/SAS および 3.5 インチ HDD のシャーシ オプションは無視します。これらの構成ははるかに簡単です。

R760 では、デルは Gen4 NVMe ドライブを搭載するためのいくつかのシャーシ オプションを提供しています。ダイレクト ドライブ オプションは、8 ドライブまたは 16 ドライブをサポートするように構成できます。 HWRAID 構成については、デルは同様に PERC 12 HWRAID カードを提供しており、8 台の SSD のバッチごとに 760 枚の RAID カードが付いています。この決定は、16 台の NVMe SSD をフル装備した RXNUMX で可能な限り最高のパフォーマンスを得るために不可欠であるため、重要です。

Dell PERC 12 の概要

Dell PowerEdge RAID コントローラ (PERC) 12 は、Broadcom SAS4116W シリコンをベースとしています。製品名には SAS が付いていますが、コントローラーはトライモード RAID-on-Chip (ROC) デバイスです。同じ RAID コントローラが Broadcom MegaRAID シリーズでも使用されています。最近レビューしました MegaRAID 9670W 主要な機能を強調します。ただし、Dell PERC 12 では、どの Dell サーバーとストレージ ファミリに興味があるかによって、基本的な設計の違いが生じます。

PowerEdge に関しては、ほとんどの構成で「H965i フロント」PERC 12 カードが利用されます。 HWRAID を備えた R760 システムのレビューでは、システム内にこれらの H965i フロント カードが 8 枚あり、5520x Solidigm P8 SSD の各セットに 8 枚ずつ含まれています。これらのカードはアドイン カードよりも大幅に小さいことに注意してください。 PCB 設計と熱管理は本当に印象的です。これらのカードは XNUMX ドライブ NVMe バックプレーンに直接取り付けられ、XNUMX 本の xXNUMX PCIe ケーブルでマザーボードに接続されます。これにより、サーバーの読み取り側の PCIe スロットが他のデバイス用に解放されます。

アドイン カードと言えば、標準の PERC 12 H965i は、オンボード ファンを備えたハーフハイト、ハーフレングスのカードです。このバージョンの PERC 12 は、一部の PowerEdge 構成に含まれるほか、一部の新しい構成にも含まれています。 Dell PowerVault MD JBOD。最後に、H965i MX があります。これは、MX7000 モジュラー シャーシなどのために設計された細長い PCB です。

デルの PERC 11 と PERC 12 の比較

Dell PERC 11 カードは NVMe SSD をサポートしていましたが、残念なことに、ハードウェア RAID の利点には多大なパフォーマンス コストがかかりました。このヒットこそが、業界が新しい Broadcom シリコンとそのカードのデル版である PERC に興奮している理由です。 デルはいくつかの数値を公開しています PERC 11 と PERC 12 の驚くべき違いについて。

PERC 12 のレイテンシの利点は明らかです。ただし、最悪の条件下でのパフォーマンス、つまり再構築中のパフォーマンスを見てください。 PERC 12 では数千パーセントの改善が見られ、RAID の再構築時間にも大きな利点が見られます。

デルが引用した帯域幅と IOPS の数値を見ると、PERC 12 と比較して PERC 11 が大幅に前進していることがわかります。全体的に、これらすべてのワークロードで PERC 2 カードでは少なくとも 12 倍の改善が見られます。もちろん、PERC 12 のパフォーマンスを確認するためのテストは行っており、今後はそれを確認していきます。

Dell ダイレクト ドライブと Dell PERC 12 のパフォーマンスの比較

Direct Drive と PERC 12 のストレージ パフォーマンスを比較するために、R760 サーバーの「いとこ」を次のように構成しました。 Solidigm P5520 7.68TB SSD。ダイレクト ドライブを備えた Dell R760 には 8 個の NVMe ベイがあります。 PERC 760 を搭載した R12 には、ツイン H16i フロント RAID カードを備えた 965 個の NVMe ベイがあります。

額面通りに考えると、どちらの側にも特定のパフォーマンス制限があることは明らかではないかもしれません。ダイレクト ドライブ アプローチを開始すると、各 SSD には独自の x4 PCIe 接続があり、32 つの SSD に専用の XNUMX レーンの PCIe が割り当てられます。

これにより、各 Gen52 ドライブが 4 GB/秒の接続を飽和させることができる場合、通常は 6.5 GB/秒を超える驚異的な帯域幅が可能になります。 PERC 12 H965i セットアップと比較すると、16 台の SSD の各グループは RAID カードと直接接続され、xXNUMX PCIe 接続でマザーボードに接続されます。これにより、ダイレクト ドライブ構成がサポートする帯域幅が半分に減ります。では、ネイティブ NVMe 接続が勝つのは明らかでしょうか?ではない正確に。

マルチ CPU システムで複数の NVMe デバイスを扱う場合、ドライブと CPU 間の NUMA マッピングおよびシステム割り込みが影響します。これは最適化できますが、大幅な調整が必要です。すべてのアプリケーションがこれを考慮しているわけではありません。

仮想化では、割り当てられた PCIe リソースに直接アクセスできない可能性のある CPU に対して共有リソースのバランスがリアルタイムで調整されるため、NUMA マッピングの管理が困難になります。ハードウェア RAID カードは、これらの問題の多くを軽減し、システム割り込みとコンテキスト切り替えを最適化して、CPU リソースを解放します。 NUMA マッピングも複雑さが軽減され、16 個の SSD を XNUMX つの CPU に分割する代わりに、管理するストレージ カードは CPU ごとに XNUMX 枚だけで済みます。

私たちのテスト計画は 760 つの領域に焦点を当てています。 760 つ目は、いずれかの R760 にパススルーされた 12 つの SSD を使用して JBOD パフォーマンスを測定する Vdbench ワークロードです。 Direct Drive R2 には 12 つのネイティブ SSD があり、HWRAID RXNUMX では、PERC XNUMX は XNUMX つの RAW ストレージ デバイスをパススルーします。どちらも最適化を行わずにそのままテストされます。テストの第 XNUMX 段階では、シングル カード セットアップから最適化されたデュアル カード セットアップまでの PERC XNUMX ソリューションの拡張されたパフォーマンスを示します。

当社の Direct Drives PowerEdge R760 レビュー ユニットの構成は次のとおりです。

• デュアル Intel Xeon Gold 6430 (32 コア/64 スレッド、1.9 GHz ベース)
• 1TB DDR5 RAM
• 8 Solidigm P5520 7.68TB Gen4 SSD
• RHEL 9

HWRAID NVMe PowerEdge R760 レビュー ユニットの構成は次のとおりです。

• デュアル Intel Xeon Gold 6430 (32 コア/64 スレッド、1.9 GHz ベース)
• 1TB DDR5 RAM
• 16 Solidigm P5520 7.68TB Gen4 SSD
• デュアル PERC 12 H965i
• RHEL 9

Vdbench ワークロード分析

ストレージ デバイスのベンチマークを行う場合は、アプリケーション テストが最適で、次に総合テストが続きます。実際のワークロードを完全に表現しているわけではありませんが、合成テストは、競合ソリューション間での同一性を簡単に比較できる再現性係数を備えたストレージ デバイスのベースライン設定に役立ちます。これらのワークロードは、「4 コーナー」テストや一般的なデータベース転送サイズのテストから、さまざまな VDI 環境からのトレース キャプチャに至るまで、幅広いテスト プロファイルを提供します。

これらのテストでは、スクリプト エンジンを備えた一般的な Vdbench ワークロード ジェネレーターを利用して、大規模なコンピューティング テスト クラスター上の結果を自動化して取得します。これにより、フラッシュ アレイや個々のストレージ デバイスを含むさまざまなストレージ デバイス間で同じワークロードを繰り返すことができます。これらのベンチマークのテスト プロセスでは、ドライブの表面全体にデータを埋めてから、ドライブ容量の 25% に相当するドライブ セクションを分割して、ドライブがアプリケーションのワークロードにどのように応答するかをシミュレートします。これは、ドライブの 100% を使用して定常状態にする完全なエントロピー テストとは異なります。結果として、これらの数値は、より高い持続的な書き込み速度を反映することになります。

プロフィール：

• 4K ランダム読み取りおよび書き込み: 100% 読み取りまたは書き込み、128 スレッド、0 ～ 120% の iorate
• 64K シーケンシャル読み取り: 100% 読み取り、32 スレッド、0 ～ 120% の IOrate
• 64K シーケンシャル書き込み: 100 パーセント書き込み、16 スレッド、0 ～ 120 パーセントの IOrate
• 4K 70R/30W および 90R/10W ランダム ミックス、64 スレッド、0 ～ 120 パーセントのヨウ素酸塩

読み取り転送帯域幅に焦点を当てた最初のテストを見ると、32 レーンの単一 PERC 12 よりも 16 PCIe レーンのダイレクト ドライブ アプローチの PCIe チャネルの利点がわかります。これは、JBOD モードの PERC 41.6 からの 28GB/s に対して、ダイレクト ドライブからの 12GB/s と計算されます。

読み取り帯域幅から書き込み帯域幅に切り替えると、Solidigm P5520 の書き込み速度が読み取り速度よりも遅いため、追加の PCIe レーンの利点は小さくなります。ここで、ダイレクト ドライブ構成では 18.3 GB/秒と測定されましたが、PERC 20.3 では 12 GB/秒でした。

ランダム 4K 読み取りワークロードでは、Direct Drive PowerEdge R8 の 5520 台の Solidigm P760 SSD でピーク 5.55M IOPS が測定されましたが、PERC 4.34 セットアップでは 12M IOPS でした。

4K ランダム書き込みでは、その差は再び縮まり、ダイレクト ドライブの測定値は 3.96 万 IOPS であるのに対し、PERC 4.15 では 12 万 IOPS でした。

4 つの混合ワークロードのうちの 70 つ目では、読み取り/書き込みスプレッドが 30/760 の 4.47K ランダム転送を調べます。ここでは、Direct Drives PowerEdge R12 構成では、PERC 3.66 の XNUMX 万 IOPS に対して、ピーク XNUMX 万 IOPS が測定されました。

同じ 90K 転送テストで読み取りパーセンテージを 4% に増やしたところ、Direct Drives サーバーからの 5.04 万 IOPS に対して、PERC 3.62 システムからの 12 万 IOPS が測定されました。

FIO ワークロード分析

デルの Direct Drive および PERC 12 HWRAID 製品のドライブのパフォーマンスを測定するために、ベンチマークは次の構成に分割されました。最初のものには、RAID、RAID10、次に RAID5 構成の外側の各ドライブを測定する JBOD 構成が含まれていました。

ダイレクト ドライブ アプローチの場合、SSD は通常どおり OS に表示されます。 PERC 12 の場合、それらは RAW ストレージ デバイスとして HBA を通過します。これらの構成は、フラッシュの事前調整、条件付けされたテストの実行、および次の事前調整とワークロードの組み合わせに移行するためのスクリプト プロセスを経て実行されました。

• 逐次プリコンディショニング
• JBOD、8DR10、8DR5 (シングルおよびデュアル PERC) での連続テスト
• ランダムな事前条件付け
• JBOD、8DR10、8DR5 (シングルおよびデュアル PERC) でのランダム最適テスト
• 8DR10、8DR5 (シングルおよびデュアル PERC) でのランダム再構築テスト
• 8DR5 (単一 PERC) の最適化および再構築のためのランダム書き込みレイテンシ

PERC 12 H965i には x16 PCIe Gen4 スロットが搭載されており、そのピーク パフォーマンスは片方向で約 28GB/s となり、Gen4 スロットの最高速度はそこになります。デルは、PowerEdge R12 でデュアル PERC 760 構成を提供することで、この帯域幅制限に対して独自のアプローチを採用しました。 16 個の SSD ベイがすべて 12 枚のカードに接続されるのではなく、負荷が分割され、各 PERC 8 が独自の XNUMX 個の SSD セットを制御します。このアプローチでは、帯域幅の制限を回避しながら、要求の厳しいワークロード下で利用可能なピーク スループットを大幅に向上させます。

まずシーケンシャル転送パフォーマンスを見ると、単一の PERC 54.4 の読み取り速度が 12GB/s であるのに対し、Direct Drives 構成の読み取り速度は 28.1GB/s であり、帯域幅の利点がわかります。ネイティブの書き込み速度にも利点があり、33.4 台のドライブを備えた単一の PERC 28.3 の場合は 12GB/s であるのに対し、XNUMXGB/s と測定されます。一般に、このクラスの SSD は書き込み速度をはるかに上回る読み取り速度を持っているため、書き込み速度には大きな違いは見られません。

ランダム転送パフォーマンスに焦点を切り替えると、NUMA バランシングに関して RAID カードの利点が発揮される場所が変化し始めていることがわかります。読み取りパフォーマンスでは、Solidigm 7.68TB P5520 SSD は 7.96K 読み取りテストで 4M IOPS を測定し、PERC 12 JBOD 構成では 7M IOPS を測定しました。ダイレクト ドライブ構成による書き込み速度は 3.4 万 IOPS に低下しましたが、PERC 12 は 5.97 万 IOPS を維持しました。 4K OLTP ワークロードでは、これはさらに顕著になり、ダイレクト ドライブの測定値は 3.6 万 IOPS であるのに対し、PERC 10.2 では 12 万 IOPS になります。

従来の考え方では、ハードウェア RAID は最新の SSD では価値がないと考えられてきましたが、もはやそうではないことがわかります。はい、Direct Drives NVMe セットアップは調整できますが、2 つの CPU に分散された複数の SSD にわたる移動ターゲットです。

これは、複雑さをすべて管理し、12 つの CPU のみに接続する PERC 2 HWRAID カードとはまったく対照的です。スケーリングのために、Dell PowerEdge R760 の 10 番目の PERC カードが他の CPU に接続され、これら 12 つのディスク グループに分割された大規模なワークロードのバランスが提供されます。 XNUMX 万 IOPS 付近でシステムが CPU を飽和し始めたことに注意してください。これが、追加の PERC XNUMX カードによって一部の領域で線形スケーリングが見られなかった理由です。

Direct Drives PowerEdge R760 構成でのソフトウェア RAID オプションについては確認しませんでしたが、劣化状態の PERC 12 で RAID 構成がどの程度適切に機能するかを確認する機会はありました。パフォーマンスは最適なパフォーマンスに比べて大幅に低下しましたが、RAID10 と RAID5 は両方とも、RAID グループの再構築中に強力なパフォーマンスを提供しました。

最適な RAID パフォーマンスはストレージ ソリューションを選択する際の重要な側面ですが、最適ではない条件下でパフォーマンスがどのように発揮されるかを確認することも同様に重要です。そのために、最適な条件下で RAID4 の 5K 書き込み遅延を測定し、障害が発生したドライブでの再構築パフォーマンスを測定しました。パフォーマンスや遅延が大幅に低下した場合、アプリケーションの応答性に問題が生じる可能性があります。再構築のパフォーマンスは最適なパフォーマンスと比較して低下しますが、パフォーマンスのレイテンシーはベースラインを超えて増加しません。

最終的な考え

デルの新しい PERC12 NVMe RAID カードは、PowerEdge サーバーの NVMe ストレージ オプションのあり方を一変させます。これまで一部のお客様は、SAS SSD からの切り替えを躊躇したり、さまざまな SDS やハイパーバイザーに接続された NVMe ドライブを選択したりしていました。ただし、PERC 12 カードの導入により、PowerEdge の方程式が変わり、より実行可能なオプションになりました。

PERC 12 のパフォーマンスが非常に優れている理由は、PowerEdge サーバーのレイアウトにもあります。当社の R760 には 12 枚の PERC 965 (H16i フロント) カードがあり、それぞれに x8 レーンがあります。これにより、各カードで 28 つの Solidigm SSD を利用できるようになり、カードあたり最大 16GB/s の最大帯域幅が提供されます。 XNUMX 個の SSD すべてを XNUMX つの RAID カードに接続すると、潜在的なパフォーマンスの半分が失われます。

「なぜ HWRAID を備えた 24 台の SSD を使用しないのですか?」と疑問に思われるかもしれません。どのシステムにもどこかにボトルネックがあることを覚えておいてください。この場合、CPU が簡単に飽和してしまう可能性があるため、サーバー内の x86 がゲート要素になります。クラスター化ソリューションについて話している場合は、ネットワークもペグします。少数の SSD で 200GbE、さらには 400GbE を簡単に満たすことができます。 SSD の容量が 30.72 TB を超えているため、システム容量の問題のためにサーバーをドライブでいっぱいにする必要も少なくなります。

私たちを読んだら Broadcom 9600 シリーズ RAID カードのレビュー、 私たちは、新しいシリコンが NVMe SSD のパフォーマンス プロファイルをニーキャップすることなく、HWRAID のすべてのデータ復元力と再構築の利点を現実的に提供できるかどうか、かなり懐疑的に始めました。私たちはそのレビューの結果に嬉しい驚きを感じましたが、ここではさらに驚きました。PERC 12 が R760 で 12 倍になり、トップラインのパフォーマンスが XNUMX 倍になったことです。ソフトウェア デファインド ストレージなど、多くのユース ケースでは依然として Dell ダイレクト ドライブが好まれているかもしれませんが、ほとんどのエンタープライズ ユース ケースでは PERC XNUMX オプションが非常に人気があるはずです。

StorageReview と連携する

ニュースレター | YouTube |ポッドキャスト iTunes/Spotifyは | Instagram | Twitter | TikTok | RSSフィード