エクササイズ アプリが、決して変更されず、努力レベルの調整も必要としない単純な計画を実行していることだけを記録した場合を想像してください。ワークアウトの 2D グラフ プロットは心臓モニター上の平らな線のように見え、全体的なパフォーマンスについてはほとんど分かりません。残念ながら、ワークステーションのストレージ パフォーマンスの総合ベンチマークのプロット線はこのようになっています。これらのタイプのベンチマークは、ファームウェア、ドライバー、ハードウェア全体で高度に最適化されたアクセス仕様を使用して、ストレージ デバイスからピーク値を抽出するように設計されています。
エクササイズ アプリが、決して変更されず、努力レベルの調整も必要としない単純な計画を実行していることだけを記録した場合を想像してください。ワークアウトの 2D グラフ プロットは心臓モニター上の平らな線のように見え、全体的なパフォーマンスについてはほとんど分かりません。残念ながら、ワークステーションのストレージ パフォーマンスの総合ベンチマークのプロット線はこのようになっています。これらのタイプのベンチマークは、ファームウェア、ドライバー、ハードウェア全体で高度に最適化されたアクセス仕様を使用して、ストレージ デバイスからピーク値を抽出するように設計されています。
古典的なケースでは、非常に高いキュー深度で 4K ブロック サイズでランダム IO を測定します。このシナリオでは、ベンダーがストレージ キューを最適化し、デバイスの IOPS (XNUMX 秒あたりの入出力操作) スコアを最大化する機会が十分にあります。対照的に、実際のワークステーション アプリケーションの平均 IO 範囲は XNUMX または XNUMX です。キューの深さがこれほど低い場合、並べ替えやその他の最適化はパフォーマンスにそれほど劇的な影響を与えません。 RAID や積極的なハイブリッド/階層型キャッシュ アーキテクチャであっても、ボトルネックは生のハードウェア機能に移ります。
合成ベンチマークのストレージの読み取りと書き込みをプロットしたグラフ。 X 軸は、IO が発生する開始位置からのオフセットです。 Y 軸は、その場所に対して行われたトランザクションのブロック サイズです。たとえば、ブロック サイズが 128K の場合、あるオフセット位置にあるドライブから 128K のデータを XNUMX 回のリクエストで読み取ろうとします。
予測できないストレージ パス
実際のワークステーション アプリケーションは、最適なストレージ アクセスのための予測可能なパスに従いません。たとえば、ノンリニア ビデオ編集の世界では、ブロック サイズは、非常に大規模なファイル転送に最適なブロック サイズではなく、コンテナの形式やエンコード方法に厳密に一致します。
アプリケーションがメモリに読み込まれるすべての大きなファイルに 128K ブロック サイズを使用し、そのデータをより小さいサイズで走査する方が大幅に高速になります。しかし、アプリケーションがストレージにアクセスする他の、あまり最適ではない方法を指示するという事実により、合成測定は実際の作業がどのように処理されるかをあまり表しません。
ビデオ編集は一例にすぎません。ほとんどすべてのアプリケーションは、同じ業界内のアプリケーションであっても、異なる読み取り/書き込み方法を使用しているため、ピーク パフォーマンス状態の測定はほとんど意味がありません。ストレージを正確に測定する唯一の方法は、実際のアプリケーション内で発生する操作を模倣することです。
方法論の改善
2.1 年初めにリリースされた SPECwpc 2016 ベンチマークでは、SPEC ワークステーション パフォーマンス特性評価 (SPECwpc) 分科会は、IO サブシステムの測定および特性評価ツールである IOMeter を使用して、さまざまなプロフェッショナル アプリケーションの IO アクティビティをシミュレートしました。ストレージ トランザクションのサイズと頻度はこれらのアプリケーションから収集され、IOMeter はそのデータを使用して、指定された期間にわたる一連のストレージ トランザクションを生成しました。
この手法はワークステーションの最大帯域幅と遅延を測定するよりは優れていますが、それでもアプリケーションの実際の動作にはあまり近づけていませんでした。 SPECwpc は次のリリースで、新しいソリッド ステート デバイス、NAND や 3D Xpoint などのテクノロジ、およびさまざまな PCIe 接続オプションの影響も反映しながら、アプリケーションの動作をより適切に模倣したいと考えていました。
3 年 2018 月にリリースされた SPECworkstation XNUMX ベンチマークの開発において、SPECwpc は Windows プロセス モニターを使用して、実際の作業に従事するさまざまなプロフェッショナル アプリケーションからのストレージ トランザクションを追跡しました。次に、SPECwpc は、トレースを実際のアプリケーションからのものとほぼ同一のストレージ トランザクションのストリームに変換する再生ユーティリティを作成しました。
SPECworkstation 3 Handbrake アプリケーションの読み取り/書き込み
SPECwpc は、サイズが数百ギガバイトになるアプリケーションからの実際のデータを使用するのではなく、ランダムに選択されたデータでストレージ要求を満たしました。その後、再生ユーティリティは、実際のアプリケーションと同様に、複数のスレッドを使用して複数のファイルに書き込みます。
SPECworkstation 3 ベンチマークには、メディアとエンターテイメント (3D アニメーション、レンダリング)、製品開発 (CAD/CAM/CAE)、ライフ サイエンス (医療、分子)、金融サービス、エネルギー (石油とガス) など、さまざまなアプリケーションからのトレースが組み込まれています。 )、一般的な操作、および GPU コンピューティング。
SPECworkstation 3 ストレージ ワークロード用にトレースされたアプリケーションには、7zip、Adobe Media Encoder、Adobe Premier Pro、Ansys Icepak、Ansys Mechanical、Autodesk 3ds Max、Autodesk Maya、Autodesk Revit、Blender、CalculiX、Dassault Systémes Solidworks、Handbrake、Lampps、Microsoft Visual Studio が含まれます。 2015、Namd、SPECviewperf 13 エネルギー ビューセット、および SPECworkstation 3 WPCcfd ワークロード。
SPECworkstation 3 ベンチマークにおける Calculix (CCX) アプリケーションの読み取り/書き込み
今後
SPECworkstation 3 で使用される再生方法は、実際のアプリケーションにかなり近い方法でスレッドを生成しますが、依然として中心的な問題があります。それは、IO の時系列とスレッド間の同期が正確に保持されないということです。これにより、一部のスレッドが特定の IO をより速く完了し、さまざまなスレッド間での IOP の同時実行が完全に同期されず、実行ごとに変動が発生する場合があります。
4 年中にリリース予定の SPECworkstation 2020 では、SPECwpc は、IO がバスに到達してストレージ デバイスに到達するときに合体するのを防ぐ方法で、IO の暦を保持することに取り組みます。
参加の呼びかけ
完璧ではありませんが、さまざまな業界のワークステーション ユーザーによって生成されるようなコマンドを処理する実際のアプリケーションからのストレージ操作のトレースは、大きな前進です。
AMD、Dell、富士通、HP、Intel、Lenovo、Nvidia の代表者が参加する SPECwpc 分科会は、デバイス ベンダー、アプリケーション開発者、ストレージ パフォーマンスに関係するユーザーからの将来のワークロードに関する意見を歓迎します。
他の SPEC ベンチマークと同様に、実際のワークステーション ストレージのパフォーマンスを取得してレポートする最も正確な手段を提供することは、開発者が将来プロセスを改善するための道筋を立てるのに役立ちます。
– アレックス・ショー
Alex Shows は、SPEC ワークステーション パフォーマンス特性評価 (SPECwpc) 分科会の委員長であり、デルの優秀なエンジニアです。彼の 23 年間の業界経験には、19 年間のソフトウェア設計、開発、文書化の経験が含まれます。 17 年間にわたるハードウェアとドライバーの設計検証。ハードウェアおよびソフトウェア技術における 10 年間の応用研究。彼は 12 件の特許を取得しており、そのうち XNUMX 件が出願中です。
グラフィックスとワークステーションのベンチマークについて詳しくは、 SPEC/GWPG Web サイトにアクセスしてください, SPEC/GWPG ニュースレターを購読する、またはグラフィックスに参加し、 ワークステーションのベンチマーク LinkedIn グループ.
SPEC/GWPG ベンチマークは次の目的で利用できます。 無料ダウンロード コンピュータおよび関連製品およびサービスのベンダーを除くすべての人が対象です。 メンバー SPEC グラフィックスおよびワークステーション パフォーマンス グループの (スペック/GWPG).
