首頁 Enterprise 儲存創新在行動:改變電影和電視工作流程

儲存創新在行動:改變電影和電視工作流程

by 布賴恩·比勒

NAB 2024 盛大開幕,成千上萬的與會者湧向拉斯維加斯會議中心,了解媒體和娛樂專業人士的最新技術。 NAB 多年來,一個租戶從未發生過變化——數位檔案變得越來越重要,團隊需要在資料中心和現場更快地存取它們。

NAB 2024 盛大開幕,成千上萬的與會者湧向拉斯維加斯會議中心,了解媒體和娛樂專業人士的最新技術。 NAB 多年來,一個租戶從未發生過變化——數位檔案變得越來越重要,團隊需要在資料中心和現場更快地存取它們。值得慶幸的是,技術已經取得了重大進步,例如 61.44TB SSD,可以解決 M&E 工作負載所涉及的複雜性。

拍攝電影或電視節目對儲存帶來的壓力程度與資料中心通常看到的壓力程度不同。現場團隊需要即時存取原始素材進行回放、即時預覽視覺特效、檢查連續性和轉碼。後者是儲存最密集的。在從攝影機中卸載新鏡頭的同時,以比即時更快的速度處理鏡頭的情況並不少見。然後,這些大量文件及其較小的代理副本必須被運回後製室,在那裡它們可以被攝取到長期儲存系統並提供給後製團隊。

用於現場資料儲存的 CheetahRAID RAPTOR

為了幫助創意專業人士持續不斷努力,CheetahRAID 為片場資料儲存配置了完美的邊緣伺服器。這 獵豹突襲猛禽 是一款堅固耐用的 2U 短深度伺服器,其特點是三個驅動器罐,每個驅動器罐支援四個 SSD。拍攝結束後,可以將罐子取出並運送到後製室以便快速攝入。對於此項目,每個罐子包含 4x Solidigm P5336 61.44TB 固態硬盤,提供令人難以置信的密度。每個容器的原始快閃記憶體容量接近 250TB。

該解決方案利用了 Graid SR-1010 基於 GPU 的 RAID 卡 以及隨附的軟體,可實現對儲存的高速存取。這一點至關重要,因為 Graid 卡將大部分 RAID 管理從伺服器的 CPU 中解放出來,從而將其騰出用於更關鍵的工作。由於 CheetahRAID 伺服器內裝有 AMD EPYC 7003 處理器,因此讓它們能夠執行應用程式任務至關重要。

此伺服器配有 NVIDIA 100GbE 網路卡,可與專業工作站共用儲存。對於此測試,我們將雙胞胎配對 HP Z4 機架 G5 機架工作站,每個都有一個 100GbE NIC 直接連接到伺服器。這將使我們能夠為每個工作站實現約 12.5GB/s 的理論吞吐量。令人難以置信的是,每個系統都有近四分之三 PB 的儲存空間可供使用。

然而,為了可靠地向每個工作站提供如此高的速度,需要製定一個強大的協議,不僅可以處理資料移動,還可以處理這種規模的資料移動。為此,系統使用 Tuxera 的 Fusion File Share。 Fusion File Share使基於Linux的CheetahRAID儲存伺服器能夠提供SMB共用給工作站。它比 SMB 伺服器 Samba 的原始 Linux 實作快得多。這不僅僅是原始吞吐量;它還包括原始吞吐量。編輯過程對延遲更加敏感,即使是很小的問題也會導致編輯程式崩潰。

為什麼選擇融合文件共享?

Tuxera 的 Fusion File Share 是一種高效能、可擴展的分散式檔案系統,可透過網路存取非結構化或基於檔案的資料。它為公有雲平台即服務 (PaaS) 產品、軟體定義儲存 (SDS) 解決方案、高效能運算 (HPC) 應用程式和企業級網路提供對 Microsoft 伺服器訊息區塊 (SMB) 協定的支援-附加儲存(NAS )。 Fusion 具有所有更新的安全性和 SMB 功能,可滿足嚴苛的組織需求。

Tuxera 的 Fusion File Share 作為 Samba 等傳統 SMB 伺服器解決方案的替代方案脫穎而出,旨在專注於高效能和可擴展性。其模組化和多執行緒架構增強了 I/O 吞吐量,最大限度地減少 CPU 使用率,減少記憶體佔用,並支援同時管理多個連接。透過利用 SMB 多通道、壓縮和基於 RDMA(遠端直接記憶體存取)的 SMB,Fusion 有效地消除了常見瓶頸,提供了一種以高吞吐量、低延遲和高效資源利用為首要因素的解決方案。基於融合乙太網路的 RDMA (RoCE) 或 SMB Direct 也允許封包完全繞過 CPU 處理,進一步減少延遲和 CPU 負載,從而提高整體效能。

Fusion 的可擴充性是其核心優勢之一,其檔案共享橫向擴充功能可動態調整 SMB 和檔案伺服器節點,以滿足企業不斷變化的需求。強大的容錯框架對此進行了補充,結合了透明的故障轉移和持續可用性,以確保服務不間斷,即使在伺服器故障或維護活動期間也是如此。此外,Fusion 對最新 SMB 3.1.1 協定以及早期版本的支援確保了跨各種網路設定的廣泛相容性和互通性。

Fusion File Share 提供了一種簡化且安全的資料管理方法。它透過配額支援促進容量規劃,提供詳細的使用者審核和存取日誌,並允許動態共享配置而無需重新啟動系統。它支援多種身份驗證機制,包括 Kerberos、LDAP 和 NTLM,並與 Windows ACL 和 Active Directory 無縫集成,以增強安全性並易於管理。這一全面的功能集使 Tuxera 的 Fusion 成為尋求中小型伺服器解決方案卓越效能和可擴展性的組織的高度可靠和高效的選擇。

Samba 與 Fusion 檔案共享效能

CheetahRAID RAPTOR 儲存伺服器圍繞單插槽 AMD EPYC Gen3 主機板構建,運行 24 核 7443P CPU 和 256GB DDR4 RAM。該伺服器有三個容器,可容納四個 SSD(總共 12 個 SSD)。每個容器內有 4 個 Solidigm P5336 61.44TB SSD。這些驅動器透過本機 NVMe 轉接卡使用與主機板的直接 NVMe 連接。

伺服器使用 Graid SupremeRAID SR-1010 進行 RAID 管理。為了透過網路傳輸數據,可以使用 NVIDIA Connect-X 6 Dx 雙埠 100GbE 卡。該卡在兩個連接埠上提供高達 200Gb 的頻寬組合,為我們的網路結構提供高達 20GB/s 的開箱即用速度。儲存伺服器運行Ubuntu 22.04.4 LTS。

我們利用兩台 HP Z4 Rack G5 工作站作為測試環境中的負載產生器。每個系統均配備 16 核心 Intel Xeon W5-2465X CPU 和 128GB DDR5 RAM。他們還提供 NVIDIA RTX 5000 Ada GPU 和 NVIDIA ConnectX-6 Dx 100GbE NIC,將其打造為影片編輯引擎。這些系統配置了 Windows Server 2022。

高速網路結構透過 100GbE 連結將它們連接到 CheetahRAID Raptor,為每個客戶端提供 10GB/s 的共享儲存鏈路。透過 Graid 儲存池中的 12 個 61.44TB Solidigm P5336 QLC SSD,我們可以與每台主機共用 613TB 的海量磁碟區。

為了衡量 Tuxera Fusion 軟體的優勢,我們比較了每個用戶端同時與 CheetahRAID 儲存主機互動的 1MB 順序讀寫頻寬和延遲。我們在每個客戶端使用了四個 FIO 作業,每個作業測量 50GB 檔案的效能。總共佔用了 400GB 空間。我們的基準是使用 Samba 版本 4.15.13 針對基於 TCP 的 Fusion 進行測量的,並再次使用利用 RDMA 卸載的 Fusion 進行測量。

每個 HP Z4 Rack G5 工作站的 Samba 讀取頻寬基準測得為 4GB/s 和 3.8GB/s,總計 7.8GB/s。在順序寫入工作負載中,我們測得 2.4GB/s 和 2.6GB/s,總計 5GB/s。平均讀取延遲為 17.23 毫秒,平均寫入延遲為 26.6 毫秒。

切換到 Tuxera 的 Fusion 軟體產生了巨大的影響,客戶端無需進行任何更改。查看 TCP 協議,我們測量了每個客戶端的 11.1GB/s 和 11.1GB/s,從而得出 22.2GB/s 的讀取頻寬。這是每台主機的 100GbE 連線的限制。對於寫入頻寬,我們測量了 5.7GB/s 和 5.8GB/s,總計 11.5GB/s。讀取延遲平均為 6 毫秒,而寫入延遲為 11.65 毫秒。

除了 TCP 之外,Tuxera 的 Fusion File Share 也支援 RDMA。我們測量了 Fusion RDMA 協議,該協議為每個主機提供了 11.6GB/s 和 11.6GB/s 的讀取頻寬,即 23.2GB/s。寫入頻寬為 5GB/s 和 5.2GB/s,總計 10.2GB/s。此設定中的讀取延遲為 5.8 毫秒,而寫入延遲為 13.2 毫秒。

將 Samba 與 Fusion 進行比較表明,Windows 用戶端獲得了巨大的收益。讀取頻寬幾乎增加了 3 倍,延遲僅為 Samba 的 33%。寫入頻寬也提高了 2.3 倍,延遲僅為我們使用 Samba 測量的 44%。

協議 公制 客戶端1 客戶端2 Total
桑巴 讀取帶寬 4GB /秒 3.8GB /秒 7.8GB /秒
閱讀延遲 16.77ms 17.68ms 17.23ms
寫入帶寬 2.4GB /秒 2.6GB /秒 5GB /秒
寫入延遲 27.5ms 25.7ms 26.6ms
融合TCP 讀取帶寬 11.1GB /秒 11.1GB /秒 22.2GB /秒
閱讀延遲 6ms 6ms 6ms
寫入帶寬 5.7GB /秒 5.8GB /秒 11.5GB /秒
寫入延遲 11.8ms 11.5ms 11.65ms
融合RDMA 讀取帶寬 11.6GB /秒 11.6GB /秒 23.2GB /秒
閱讀延遲 5.8ms 5.8ms 5.8ms
寫入帶寬 5GB /秒 5.2GB /秒 10.2GB /秒
寫入延遲 13.4ms 13ms 13.2ms

巨大的 SSD 與 M&E 保持同步

像 Solidigm 61.44TB P5336 這樣的大量 SSD 為媒體和娛樂產業帶來了巨大的好處,在這些產業中,速度和可靠性對於處理高清視訊、複雜圖形和大量音軌等大型檔案至關重要。與傳統 HDD(硬碟)不同,SSD 提供更快的資料存取時間、卓越的讀取/寫入速度以及每秒更大的 I/O 操作。這種效能優勢可以實現更有效率的編輯、渲染和處理工作流程,從而顯著減少載入和處理大型媒體檔案所需的時間。 SSD 中沒有移動部件,增強了其可靠性和耐用性,使其不易出現機械故障和資料遺失(處理有價值的媒體內容時的關鍵問題)。

在媒體製作和後製環境中採用高密度 SSD 可簡化工作流程,實現即時編輯、色彩分級和效果處理,而不會影響品質或效率。這些驅動器可以無縫處理多個 4K 視訊串流,無需代理檔案或低解析度佔位符。此外,SSD 的緊湊外形與其高儲存容量相結合,允許將整個專案儲存在單一磁碟機或最小陣列上,從而簡化了資料管理,從而更輕鬆地存取和管理大量資料。

除了性能和容量優勢之外,大容量 SSD 還透過其靜音運行、較低的熱輸出和能源效率,為更有利的生產環境做出了貢獻。這些功能在密集的或移動編輯套件中特別有用,因為噪音最小化和冷卻是持續關注的問題。 SSD 的能源效率不僅降低了營運成本,還支援更涼爽、更安靜的工作空間,從而提高媒體專業人員的整體生產力和舒適度。從本質上講,海量 SSD 正在改變媒體和娛樂領域,實現更快、更可靠、更有效率的生產流程,以滿足對高品質數位內容日益增長的需求。

Bridge Digital 是它的忠實粉絲

在我們自己使用 CheetahRAID 設備進行的測試中,我們看到了 M&E 工作負載的顯著優勢。但我們希望得到業界的另一種意見,看看我們的發現是否與深入研究現場資料管理的人一致。我們聯繫了我們的朋友 Bridge Digital 的創辦人兼總裁 Richie Murray。

Bridge Digital 是一家在數位視訊工作流程和使其更好運行的技術方面擁有專業知識的公司。
它們幫助數位內容的創作者和所有者建立基礎設施,以有效地創建、管理、分發視訊資產並使其貨幣化。 Bridge Digital 的解決方案涵蓋整個數位媒體工作流程——從攝取到最終交付。

Richie 指出:「效能、相容性和可支援性是我們客戶的首要任務。這正是該解決方案所帶來的效果。 CheetahRAID 系統提供的資料可攜性在業界是無與倫比的,同時又不放棄不太“船舶友好”硬體的速度和可靠性。

Richie 繼續說道:「Fusion File Share 效能更高,並且與現有的網路創意工作站完全相容。此外,大量的 Solidigm SSD 與 Graid 的 RAID 實施相結合,都有助於實現「該解決方案大於其各部分總和」的理念。該組合解決方案對於現代 M&E 工作負載而言極具吸引力。

結論

Tuxera 的 Fusion File Share 順序速度非常適合快速卸載和驗證素材,尤其是在使用許多攝影機拍攝時。快速儲存對於現場使用來說並不陌生,僅速度不會給人留下太深刻的印象,但聯網和同時卸載多個系統而不減慢速度的能力是 Tuxera Fusion 擅長的特殊工作流程。

大多數時候,在拍攝現場,限制因素不是存儲,而是攝影機介質,而這個瓶頸就會成為問題,特別是當攝影機數量開始達到兩位數時。多個系統同時將多個卡卸載到獨立驅動器的情況並不少見,然後需要在現場將其整合到一對相同的主驅動器或在其伺服器上的郵局進行整合。

將多個系統聯網到同一個 Tuxera Fusion 儲存池並同時卸載而不減慢速度的能力可以節省大量時間。更重要的是,如果使用 Samba,使卸載、轉碼、管理、審查和品質控制同時發生,標準 NAS 將難以與許多客戶端有效地共享儲存擴充。

雖然我們已經討論了該解決方案在現場提供的好處,但了解所有這些都非常簡單且重要。 CheetahRAID 伺服器、Solidigm QLC SSD、Graid Technologies RAID 管理和 Tuxera 協定都非常容易在基本 Linux 安裝中設定。整個解決方案只需幾分鐘(而不是幾小時)即可完成,並為機電專業人士匯集了一流的技術。

參與 StorageReview

電子通訊 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | 的TikTok | RSS訂閱