ストレージ イノベーションの実践: 映画とテレビのワークフローを変革

NAB 2024 は、メディアおよびエンターテイメントの専門家向けの最新テクノロジーについて学ぶために、数万人の参加者がラスベガス コンベンション センターに集まり、盛大に幕を開けました。 NAB の長年にわたって、XNUMX つのテナントが変わることはありませんでした。デジタル ファイルはますます重要になり、チームはデータ センターと現場の両方でデジタル ファイルへのより高速なアクセスを必要としています。

NAB 2024 は、メディアおよびエンターテイメントの専門家向けの最新テクノロジーについて学ぶために、数万人の参加者がラスベガス コンベンション センターに集まり、盛大に幕を開けました。 NAB の長年にわたって、61.44 つのテナントが変わることはありませんでした。デジタル ファイルはますます重要になり、チームはデータ センターと現場の両方でデジタル ファイルへのより高速なアクセスを必要としています。ありがたいことに、XNUMXTB SSD などのテクノロジーは重要な進歩を遂げており、M&E ワークロードに伴う複雑さを解決できます。

映画やテレビ番組の制作では、データ センターで通常見られるものとは異なるストレス レベルがストレージにかかります。撮影現場のチームは、生の映像を再生し、リアルタイムで VFX を事前に視覚化し、連続性を確認し、トランスコーディングするために即座にアクセスする必要があります。後者は最もストレージを消費します。カメラから新しい映像をオフロードしながら、リアルタイムよりも高速に映像を処理することは珍しいことではありません。次に、これらの巨大なファイルとそれに対応する小さなプロキシ ファイルをポスト ハウスに戻し、そこで長期ストレージ システムに取り込んで、ポストプロダクション チームが利用できるようにする必要があります。

オンセットデータストレージ用 CheetahRAID RAPTOR

この継続的な取り組みにおいてクリエイティブなプロフェッショナルを支援するために、CheetahRAID はオンセットのデータ ストレージに最適なエッジ サーバーを構成しました。の チーターレイド ラプター は、それぞれ 2 台の SSD をサポートする 4 つのドライブ キャニスターを特徴とする、堅牢な XNUMXU 奥行きの短いサーバーです。撮影後、キャニスターを取り外してポストハウスに発送し、すぐに摂取することができます。このプロジェクトでは、各キャニスターに XNUMX 個の Solidigm P5336 61.44TB SSD、信じられないほどの密度を提供します。これは、キャニスターあたり約 250TB の生フラッシュに相当します。

このソリューションでは、 Graid SR-1010 GPU ベースの RAID カード ストレージへの高速アクセスを可能にする付属のソフトウェア。 Graid カードは RAID 管理の大部分をサーバーの CPU から切り離し、より重要な作業のために CPU を解放するため、これは非常に重要です。 CheetahRAID サーバー内の AMD EPYC 7003 プロセッサでは、アプリケーション タスクの実行にプロセッサを利用できるようにすることが最も重要です。

このサーバーには、プロフェッショナル ワークステーションとストレージを共有するための NVIDIA 100GbE ネットワーク カードが搭載されています。このテストでは、ツインをペアリングします HP Z4 ラック G5 ラック ワークステーション、それぞれに 100GbE NIC がサーバーに直接接続されています。これにより、各ワークステーションで理論上約 12.5GB/秒のスループットを達成できるようになります。信じられないことに、各システムで XNUMX ペタバイトのストレージのほぼ XNUMX 分の XNUMX が利用可能です。

ただし、これだけの速度を各ワークステーションに確実に提供するには、データの移動だけでなく、この規模のデータの移動も処理できる堅牢なプロトコルを導入する必要があります。このために、システムは Tuxera の Fusion File Share を使用します。 Fusion File Share を使用すると、Linux ベースの CheetahRAID ストレージ サーバーが SMB 共有をワークステーションに提供できるようになります。これは、SMB サーバーの元の Linux 実装である Samba よりも大幅に高速です。また、それは生のスループットだけではありません。編集プロセスは遅延の影響を非常に受けやすく、わずかな問題でも編集プログラムがクラッシュする可能性があります。

Fusion ファイル共有を選ぶ理由

Tuxera の Fusion File Share は、ネットワーク経由で非構造化データまたはファイルベースのデータへのアクセスを提供する、高性能でスケーラブルな分散ファイル システムです。 Microsoft のサーバー メッセージ ブロック (SMB) プロトコルのサポートを、パブリック クラウドのサービスとしてのプラットフォーム (PaaS) 製品、ソフトウェア デファインド ストレージ (SDS) ソリューション、ハイ パフォーマンス コンピューティング (HPC) アプリケーション、およびエンタープライズ グレードのネットワークに提供します。 -接続ストレージ (NAS)。 Fusion には、厳しい組織のニーズを満たす最新のセキュリティと SMB 機能がすべて備わっています。

Tuxera の Fusion File Share は、Samba のような従来の SMB サーバー ソリューションの代替として際立っており、高いパフォーマンスとスケーラビリティを重視して設計されています。モジュール式のマルチスレッド アーキテクチャにより、I/O スループットが向上し、CPU 使用率が最小限に抑えられ、メモリ フットプリントが削減され、複数の接続の同時管理がサポートされます。 Fusion は、SMB マルチチャネル、圧縮、SMB over RDMA (リモート ダイレクト メモリ アクセス) を活用することで、一般的なボトルネックを効果的に排除し、高スループット、低遅延、効率的なリソース利用が最重要となるソリューションを提供します。 RDMA over Converged Ethernet (RoCE)、つまり SMB ダイレクトを使用すると、データ パケットが CPU 処理を完全にバイパスできるようになり、遅延と CPU 負荷がさらに削減され、全体的なパフォーマンスが向上します。

Fusion の拡張性はその中核的な強みの 3.1.1 つであり、ファイル共有スケールアウト機能により、ビジネスの変化するニーズに合わせて SMB およびファイル サーバー ノードを動的に調整できます。これは、透過的なフェイルオーバーと継続的な可用性を組み込んだ堅牢なフォールト トレランス フレームワークによって補完され、サーバー障害やメンテナンス作業中であってもサービスが中断されないようにします。さらに、Fusion は以前のバージョンと合わせて最新の SMB XNUMX プロトコルをサポートしているため、さまざまなネットワーク設定にわたる広範な互換性と相互運用性が保証されています。

Fusion File Share は、データ管理に対する合理化された安全なアプローチを提供します。クォータのサポートにより容量計画が容易になり、詳細なユーザー監査とアクセス ログが提供され、システムを再起動せずに動的な共有構成が可能になります。 Kerberos、LDAP、NTLM などの複数の認証メカニズムをサポートし、Windows ACL および Active Directory とシームレスに統合して、セキュリティを強化し、管理を容易にします。この包括的な機能セットにより、SMB サーバー ソリューションに優れたパフォーマンスと拡張性を求める組織にとって、Tuxera の Fusion は信頼性が高く効率的な選択肢となります。

Samba と Fusion のファイル共有パフォーマンス

CheetahRAID RAPTOR ストレージ サーバーは、シングル ソケット AMD EPYC Gen3 マザーボードを中心に構築されており、24 GB の DDR7443 RAM を備えた 256 コア 4P CPU を実行します。このサーバーには、12 つの SSD (合計 4 SSD) のストレージを収容する 5336 つのキャニスターがあります。各キャニスター内には、Solidigm P61.44 XNUMXTB SSD が XNUMX 台あります。これらのドライブは、ネイティブ NVMe ライザーを介してマザーボードへの直接 NVMe 接続を使用します。

サーバーは、RAID 管理に Graid SupremeRAID SR-1010 を使用します。ネットワーク経由でデータをパイプ出力するために、NVIDIA Connect-X 6 Dx デュアルポート 100GbE カードがあります。このカードは、両方のポートを合わせて最大 200 GB の帯域幅を提供し、ネットワーク ファブリック全体でボックスの内外で最大 20 GB/秒を実現します。ストレージ サーバーは Ubuntu 22.04.4 LTS を実行します。

4 台の HP Z5 Rack G16 ワークステーションを利用して、テスト環境でロードジェネレータとして機能しました。各システムには 5 コア Intel Xeon W2465-128X CPU と 5GB DDR5000 RAM が搭載されていました。また、NVIDIA RTX 6 Ada GPU と NVIDIA ConnectX-100 Dx 2022GbE NIC も提供し、ビデオ編集の強力な機能を構築します。システムは Windows Server 100 で構成されました。HP は Windows Server と XNUMXGbE NIC を直接サポートしていないことに注意してください。ただし、このテストではどちらも問題は発生しませんでした。

高速ネットワーク ファブリックは、100GbE リンクを介してクライアントを CheetahRAID Raptor に接続し、各クライアントに共有ストレージへの 10GB/秒のリンクを提供します。 Graid ストレージ プールに 12 台の 61.44TB Solidigm P5336 QLC SSD を使用すると、613TB の大容量ボリュームを各ホストで共有できます。

Tuxera の Fusion ソフトウェアの利点を測定するために、CheetahRAID ストレージ ホストと同時に対話する各クライアントからの 1MB シーケンシャル読み取りおよび書き込み帯域幅と遅延を比較しました。各クライアントで 50 つの FIO ジョブを使用し、それぞれ 400GB ファイルのパフォーマンスを測定しました。合計すると、4.15.13 GB のフットプリントになります。私たちのベースラインは、TCP 上の Fusion に対して Samba バージョン XNUMX を使用して測定され、RDMA オフロードを利用する Fusion で再度測定されました。

各 HP Z4 Rack G5 ワークステーションへの Samba 読み取り帯域幅のベースラインは、4GB/秒と 3.8GB/秒、合計 7.8GB/秒と測定されました。シーケンシャル書き込みワークロードでは、2.4GB/秒と 2.6GB/秒、合計 5GB/秒を測定しました。平均読み取りレイテンシは 17.23 ミリ秒で、平均書き込みレイテンシは 26.6 ミリ秒でした。

Tuxera の Fusion ソフトウェアへの切り替えは、クライアント側に変更を加える必要がなく、大きな効果をもたらしました。 TCP プロトコルを見ると、各クライアントからの速度が 11.1 GB/s と 11.1 GB/s であることが測定され、読み取り帯域幅は 22.2 GB/s となりました。これは、各ホストへの 100GbE 接続の制限でした。書き込み帯域幅については、5.7GB/s と 5.8GB/s を測定し、合計 11.5GB/s となりました。読み取りレイテンシは平均 6ms で、書き込みレイテンシは 11.65ms でした。

TCP に加えて、Tuxera の Fusion File Share も RDMA をサポートします。 Fusion RDMA プロトコルを測定したところ、読み取り帯域幅は 11.6 GB/秒、各ホストに対して 11.6 GB/秒、つまり 23.2 GB/秒でした。書き込み帯域幅は 5GB/s と 5.2GB/s、または合計 10.2GB/s でした。この設定での読み取り遅延は 5.8 ミリ秒、書き込み遅延は 13.2 ミリ秒でした。

Samba と Fusion を比較すると、Windows クライアントにとって大きなメリットがあることがわかりました。読み取り帯域幅はほぼ 3 倍向上し、遅延は Samba が提供するもののわずか 33% に抑えられました。書き込み帯域幅も 2.3 倍向上し、レイテンシは Samba で測定した値のわずか 44% でした。

M&E に遅れをとらない巨大な SSD

Solidigm の 61.44TB P5336 のような大容量 SSD は、高解像度ビデオ、複雑なグラフィックス、膨大なオーディオ トラックなどの大きなファイルを処理するために速度と信頼性が重要であるメディアおよびエンターテインメント業界に多大なメリットをもたらします。従来の HDD (ハードディスク ドライブ) とは異なり、SSD はより高速なデータ アクセス時間、優れた読み取り/書き込み速度、および XNUMX 秒あたりの I/O 操作の向上を実現します。このパフォーマンスの優位性により、ワークフローの編集、レンダリング、処理がより効率的になり、大きなメディア ファイルの読み込みと作業にかかる時間が大幅に短縮されます。 SSD には可動部品がないため、信頼性と耐久性が向上し、機械的故障やデータ損失 (貴重なメディア コンテンツを扱う際の重大な懸念事項) の影響を受けにくくなります。

メディア制作およびポストプロダクション環境に高密度 SSD を採用すると、ワークフローが合理化され、品質や効率を損なうことなくリアルタイム編集、カラー グレーディング、エフェクト処理が可能になります。これらのドライブは 4K ビデオの複数のストリームをシームレスに処理できるため、プロキシ ファイルや低解像度のプレースホルダーが不要になります。さらに、SSD のコンパクトなフォームファクターと高いストレージ容量を組み合わせることで、プロジェクト全体を単一のドライブまたは最小限のアレイに保存できるため、データ管理が簡素化され、大量のデータへのアクセスと管理が容易になります。

大容量 SSD は、パフォーマンスと容量の利点だけでなく、静かな動作、低い発熱量、エネルギー効率を通じて、より生産的な生産環境に貢献します。これらの機能は、ノイズの最小化と冷却が常に懸念される、高密度の編集スイートやモバイル編集スイートで特に有益です。 SSD のエネルギー効率は運用コストを削減するだけでなく、より涼しく静かな作業空間をサポートし、メディア専門家の全体的な生産性と快適性を向上させます。本質的に、大容量 SSD はメディアとエンターテイメントの状況を変革し、高品質のデジタル コンテンツに対する需要の高まりに対応できる、より高速で信頼性が高く、より効率的な制作プロセスを可能にします。

Bridge Digital の大ファンです

CheetahRAID リグを使用した独自のテストでは、M&E ワークロードに素晴らしい利点があることがわかりました。しかし、私たちの発見が現場のデータ管理に精通している人々と一致しているかどうかを確認するために、業界からの別の意見が必要でした。私たちは友人の Bridge Digital の創設者兼社長である Richie Murray に連絡を取りました。

Bridge Digital は、デジタル ビデオ ワークフローとその機能を向上させるテクノロジーの専門知識を備えた会社です。
これらは、デジタル コンテンツの作成者と所有者がビデオ アセットを効果的に作成、管理、配布、収益化するためのインフラストラクチャを構築するのに役立ちます。 Bridge Digital のソリューションは、取り込みから最終配信まで、デジタル メディア ワークフロー全体をカバーします。

Richie 氏は次のように述べています。「パフォーマンス、互換性、サポート性は、お客様にとっての最優先事項です。それがまさにこのソリューションがもたらすものです。 CheetahRAID システムが提供するデータの可搬性は業界で比類のないものであり、同時に、「船舶に適さない」ハードウェアの速度と信頼性も犠牲にしていません。」

リッチー氏は続けて、「Fusion File Share はよりパフォーマンスが高く、既存のネットワークに接続されたクリエイティブ ワークステーションと完全な互換性があります。さらに、大規模な Solidigm SSD と Graid の RAID 実装の組み合わせは、両方とも「このソリューションは各部分の合計よりも優れている」という考えに貢献しています。統合されたソリューションは、最新の M&E ワークロードにとって非常に魅力的です。」

まとめ

Tuxera の Fusion File Share のシーケンシャル速度は、特に多数のカメラで撮影する場合に、映像を迅速にオフロードして検証するのに最適です。高速ストレージはオンセットでの使用に馴染みがあり、速度だけではそれほど印象に残りませんが、ネットワークに接続し、複数のシステムを速度を落とさずに同時にオフロードできる機能は、Tuxera Fusion が優れたワークフローです。

撮影現場ではほとんどの場合、制限要因はストレージではなくカメラのメディアであり、特に 2 桁のカメラを使用し始めると、このボトルネックが問題になります。複数のシステムが同時に複数のカードを独立したドライブにオフロードすることは珍しいことではありません。その後、セット上で同一のマスター ドライブのペアに統合するか、サーバー上のポスト ハウスで統合する必要があります。

多くのシステムを同じ Tuxera Fusion ストレージ プールにネットワーク化し、速度を低下させることなく同時にオフロードできる機能により、時間を大幅に節約できます。さらに重要なことは、標準的な NAS では、Samba を利用して、オフロード、トランスコーディング、管理、レビュー、QC をすべて同時に実行できるようにする場合、共有ストレージを多くのクライアントで効率的に拡張する機能に苦労することになります。

このソリューションが撮影現場で提供する利点について説明しましたが、これらすべてがほとんど複雑ではないことを理解することも重要です。 CheetahRAID サーバー、Solidigm QLC SSD、Graid Technologies RAID 管理、および Tuxera プロトコルはすべて、基本的な Linux インストールで非常に簡単に構成できます。ソリューション全体は数時間ではなく数分で統合され、M&E 専門家向けのクラス最高のテクノロジーが集約されます。

StorageReview と連携する

ニュースレター | YouTube |ポッドキャスト iTunes/Spotifyは | Instagram | Twitter | TikTok | RSSフィード