首頁 Enterprise 使用 Pliops Extreme 數據處理器 (XDP) 最大化 NVMe SSD

使用 Pliops Extreme 數據處理器 (XDP) 最大化 NVMe SSD

by 哈羅德弗里茨

現代服務器設計正在利用不斷擴展的加速卡世界來實現新的或增強的功能。 雖然許多人在考慮加速時會直接使用 GPU,但現在出現了一種新型處理器,它們不僅可以解決性能問題,還可以解決數據保護和經濟問題。 Pliops Extreme Data Processor (XDP) 是這些加速器之一,借助基於 QLC 的企業級 SSD,幫助客戶利用性能、容量和經濟性的獨特結合。

現代服務器設計正在利用不斷擴展的加速卡世界來實現新的或增強的功能。 雖然許多人在考慮加速時會直接使用 GPU,但現在出現了一種新型處理器,它們不僅可以解決性能問題,還可以解決數據保護和經濟問題。 Pliops Extreme Data Processor (XDP) 是這些加速器之一,借助基於 QLC 的企業級 SSD,幫助客戶利用性能、容量和經濟性的獨特結合。

Pliops 至尊數據處理器

閃存在數據中心的影響簡述

NVMe SSD 顯著影響了服務器和存儲性能,尤其是當它們達到 Gen4 速度時。 不過,這些收益給系統的其他部分帶來了壓力,這意味著傳統的 RAID 卡架構成為阻礙。 隨著 QLC 閃存的推出,閃存遊戲再次發生變化。 服務器需要新的解決方案來有效利用這些現代技術。

Pliops Extreme 數據處理器 - Solidigm P5316

英特爾(現為 Solidigm)率先將高質量 QLC SSD 商業化。 這 固力P5316 就大容量、經濟實惠的企業級 SSD 而言,它是現在的事實標準。 過去我們在這些驅動器上花費了大量時間,不僅在我們的評論中,而且在可以正確使用這些驅動器的企業和雲部署中。

正確使用是什麼意思? 嗯,QLC SSD 傳統上在讀取性能方面非常好,但在寫入驅動器時,系統必須更智能一些。 在我們的 P5316 評論中,我們談到了一個叫做間接單元 (IU) 的術語。 這或多或少是驅動器要寫入的塊大小。 對於 P5316,其 IU 為 64K。 雖然您可以將 4K 塊寫入驅動器,但它在性能和寫入放大方面效率極低。

深入研究 SSD 細節對於理解 Pliops XDP 存在的至少一個關鍵原因很重要。 一方面,它通過聚合和管理 SSD 充當服務器的 RAID 卡。 XDP 還得到板載 DRAM 和電源保護的支持,因此它可以合併進入驅動器的寫入,以確保性能和容量利用率優於軟件 RAID。

物聯網設備對應用的需求

數據收集繼續以令人難以置信的速度增長。 使數據和相關應用程序隨時可用的要求更加明顯,尤其是在邊緣收集洞察力和 AI/ML 應用程序開發的重要性。

鑑於容量持續增長,同時變得更具成本效益,企業完全接受了 SSD 技術。 NVMe 驅動器得到廣泛採用,其運行速度比硬盤驅動器 (HDD) 快 1,000 倍以上。 數據中心正在部署運行 400Gbps 的網絡以跟上這些存儲設備的步伐,而 NVMe-over-Fabrics (NVMe-oF) 等高效協議則突破了系統和基礎設施的極限。

隨著物聯網設備需求以前所未有的速度持續增長,應用程序也變得更加高效。 更多的服務器、存儲和交換機增加了本已復雜的環境的複雜性。 我們不要忘記高效、安全地備份所有這些數據的重要性。

安裝 NVMe SSD 似乎可以解決當今企業面臨的性能問題。 但是,這些 NVMe SSD 並未得到有效利用。 摩爾定律落後於 CPU 性能每 20 年翻一番而不是每兩年翻一番。 添加更多內核並不能解決性能問題,因為這些內核共享相同的內存和 I/O。 通過添加更多服務器,“越多越好”這句老話會奏效,但這是一種非常昂貴的解決方案,而且對環境不利。

由於所有這些數據都存儲在這些高速 SSD 上,處理和管理 CPU 超載的計算密集型存儲任務已成為一場噩夢。 服務器無法滿足用戶社區的需求,也無法在驅動器發生故障時提供可靠保護,尤其是在處理更高性能和容量時。

Pliops Extreme 數據處理器 (XDP) 可以為基於 SSD 的存儲和保護的許多性能需求提供解決方案。 Pliops XDP 是應用程序加速的新基準,可提高數據中心基礎設施投資的有效性。

正如 GPU 克服處理效率低下以加速 AI 和分析性能一樣,Pliops XDP 克服存儲效率低下以大幅加速性能並顯著降低當今現代應用程序的基礎設施成本。 Pliops XDP 簡化了數據處理和 SSD 存儲管理的方式。 Pliops XDP 在易於部署的 HHHL(半高、半長)PCIe 卡上交付,從根本上提高了各種數據密集型工作負載的性能、可靠性、容量和效率。

Pliops Extreme 數據處理器架構

Pliops XDP 設計有兩個接口供主機訪問,這是提供更高性能的關鍵。
第一個是標準塊接口,採用最廣泛,XDP 看起來像系統中的任何存儲設備。 一旦安裝了 XDP,它就會簡單地顯示出來。

Pliops Extreme 立式數據處理器

第二個主機接口是 RocksDB 兼容的鍵值庫 API。 還支持新興的 NVMe-KV 標準。 該接口是應用程序直接訪問 XDP 並獲得更高性能的最有效方式。 XDP 將塊視為一種特殊類型的鍵值對,因此一切都以相同的方式通過引擎運行。

Pliops XDP 的卓越性能可歸功於在硬件中完成大部分功能。 使用快速、高效的硬件加速引擎執行線速壓縮。 鍵值存儲引擎也是基於硬件的。 Pliops 將其比作芯片上的 RocksDB。 鍵值引擎是 XDP 的真正主力,執行許多魔法以提供真正的性能優勢。

簡而言之,當一個塊被壓縮時,它會創建一個任意大小的對象。 閃存具有固定的塊大小,因此這會帶來容量管理方面的問題。 這是通過合併壓縮塊,將它們打包在一起,對它們進行排序和索引以進行快速檢索,然後進行垃圾收集來解決的。 隨著更新的進行,塊被解包並且該過程再次開始。 這就是在基於軟件的解決方案中驅動寫入放大器、讀取放大器和空間放大器的原因。 從 CPU 的角度來看,主機做出了妥協,因此它不會消耗所有的處理能力。

Pliops 已經實施了極其高效的計算密集型算法和數據結構。 例如,XDP 提供相當於 RocksDB 的五百個 Xeon Gold Core 的性能。

可靠性

傳統的數據保護解決方案需要在性能和容量之間進行權衡。 但是 Pliops XDP 消除了
這些權衡與高級驅動器故障保護保持恆定的數據可用性並消除
數據丟失和停機。 XDP 支持多個單一驅動器故障並具有虛擬熱容量 (VHC),無需熱備用。 因為 XDP 管理數據,所以只重建實際數據,這與基於 RAID 的解決方案不同。 換句話說,用戶以閃存的速度獲得數據保護,性能損失為零。

在突然斷電的情況下,XDP 會自動將元數據和用戶數據刷新到非易失性內存中,從而保存正在運行的元數據和用戶數據。 恢復是自動的,並在使用可用 VHC 容量恢復供電時立即開始,而不會減少可用容量。

容量

Pliops XDP 支持所有命令閃存技術、TLC、QLC、Intel Optane 和來自任何供應商的 SSD。 XDP 的在線壓縮實現了多個引擎來防止瓶頸,從而使 CPU 擺脫了這種負擔。 壓縮、最小驅動器故障保護開銷和接近全驅動器利用率 (95%) 可將可用容量擴展多達 6 倍。 可用容量的增加顯著降低了每 TB 成本。

SSD 的耐用性有限,這意味著在設備磨損並且無法再安全存儲數據之前可以寫入和擦除的數據量。 隨著行業採用 QLC SSD 及更高版本,耐用性水平下降。 由於 XDP 將所有隨機寫入轉換為順序寫入,因此它消除了這個問題,從而使耐久性提高了 7 倍。

需要注意的是,截至目前,Pliops XDP 每張卡支持 128TB 的用戶數據。 對於需要更多存儲的用例,可以在主機系統中利用多個 XDP 卡。

效率

XDP 緊湊但功能強大,可以從現有基礎架構佔用空間中獲得更多收益,以跟上組織數據增長和應用程序採用的步伐。 此外,它很容易在整個數據中心進行部署。 Pliops XDP 可以在一系列工作負載中提供高達 80% 的經濟效益。

目前,Pliops 利用 CLI 界面來安裝 XDP 軟件。

界面簡單明了。 如果需要,可以輕鬆配置 XDP 和導航陣列狀態。

高級功能

Pliops XDP 高級功能包括:

  • 具有高性能和一致性能的標準塊設備
  • 毫不妥協的驅動器故障保護 (DFP) 可防止多個單一驅動器故障
  • 通過壓縮、高驅動器填充和最小的 DFP 開銷擴展可用容量
  • 虛擬熱容量消除了對專用熱備用的需求
  • 減少寫入放大器可延長 TLC 和 QLC SSD 的使用壽命
  • 通過僅將用戶數據重建到分配的虛擬熱容量來實現快速恢復
  • 用戶可配置的重建率以平衡性能
  • 突然斷電時的全面數據和元數據保護
  • 平衡過度配置並提高性能

Pliops XDP 使企業和雲應用程序能夠以高達 1,000 倍的速度訪問數據,並且僅使用傳統計算負載和功率的一小部分,從而充分發揮閃存存儲的潛力。

Pliops Extreme 數據處理器規格

性能 3.2M IOPS RR,1.2M IOPS RW,30GB/s SR,6.4GB/s SW
寫原子性 支持高達 64KB 的原子寫入,以消除顯式或透明的雙重寫入
容量 128TB 物理磁盤上的 128TB 用戶數據,具有奇偶校驗保護
主機接口 • 標準塊設備
• KV 庫 API
壓縮 硬件加速
固態硬盤支持 • 接口:PCIe Gen 3/4/5 NVMe、NVMe-oF
• 類型:TLC SSD、QLC SSD、Intel® Optane™
驅動供應商 三星、WD、Micron、Intel、Kioxia、Hynix、Seagate 等支持
外觀尺寸 薄型 HHHL (6.6” X 2.536”) – 高矮支架
OS支持 所有 Linux 變體
支持的服務器 Dell、HPE、Lenovo、Supermicro、Quanta、Wywinn、Inspur、Sugon、Fujitsu、Hitachi – 所有標準 1U / 2U 服務器
電源故障保護 所有數據都受到突然斷電的保護
工作溫度 10-52°C @ 250 LFM
儲藏溫度 5°C 至 35°C,< 90% 非冷凝
電力 典型 <25W,最大 45W,+12Vdc 通過 PCIe 適配器
商品保修條款 3 年,免費高級技術支持,高級更換選項
法規認證 AS/NZS CISPR 22、ICES -003、B 類、EN55022/EN55024、VCCI V-3、RRA 編號 2013-24 和 25、符合 RoHS、EN/IEC/UL 60950、CNS 13438、FCC 47 CFR 第 15 部分 B 子部分, B 類, WEEE
平均無故障時間 長達 4.5 萬小時

性能

Pliops XDP 將有助於將數據庫、分析、AI/ML 等方面的性能提高多達 10 倍。
突破性的數據結構和算法提供了相當於數百個主機軟件內核的功能。 XDP 在系統中作為塊設備出現並加速任何應用程序。 對於 MySQL、MongoDB 和 Cassandra 等數據庫,Pliops XDP 提供更高的實例密度,同時減少 MySQL、MongoDB 和 Cassandra 等數據庫的延遲。

我們在實驗室中測試了 Pliops XDP 在戴爾 PowerEdge R750 和四個 Solidigm P5316 30.72TB QLC SSD 中的性能。 我們比較了使用 mdadm 的軟件 RAID0 與具有 RAID5 配置的 XDP 的性能,兩者都使用 64K 塊大小。 這在 XDP 卡上增加了更多工作,旨在展示軟件 RAID 的最高性能配置。 mdadm 是一個用於構建、管理和監控 Linux md 設備(又名 RAID 陣列)的命令。 請注意,mdadm 並未預裝在 Linux 系統中。

對於預處理,在測量順序讀寫性能之前執行三個 128K 10TB 順序寫入填充。 對於隨機讀寫測試,執行了三個 128K 10TB 隨機填充。 然後,測試本身使用 10TB 的足跡進行了跨多個塊大小的多個隊列深度的測試,每個間隔測量為 120 秒。

對於隨機 4K 傳輸,Pliops XDP 略低於軟件 RAID0,測得 2.6M IOPs 與 3.7M IOPS。 不過,看看隨機寫入性能,從具有 832k IOPS 的 SW RAID0 到 XDP 的高達 135M IOPS,有 1.3% 的巨大提升。 隨機讀取和隨機寫入工作負載均在 8 線程/128 隊列級別進行了測試。

 

將塊大小增加到 16K,Pliops XDP 能夠在讀取和寫入工作負載方面領先於軟件 RAID0 數量。 我們測量了來自 XDP 的 16M IOPS 的 1.9K 隨機讀取與 SW RAID1.7 的 0M IOPS。 在 16K 隨機寫入中,差異是 XDP 的 370K IOPS 與 SW RAID131 的 0k IOPS。 隨機讀取和隨機寫入工作負載均在 8 線程/128 隊列級別進行了測試。

 

通過將隨機讀取和寫入活動混合在一起,我們計算出了從 4K 到 16K 塊大小的傳輸大小。 總體而言,Pliops XDP 獲得了巨大收益。 在 4K 70/30 中,它提供了 561% 的巨大增益,從 SW RAID2.8 測量到 422M IOPS 到 0K IOPS。 在 8K 塊大小下,增益略低於 348%,在 SW RAID1.9 中測得 428M IOPS 至 0K IOPS。 在 16K 傳輸大小下,差距縮小了,但仍然比 SW RAID157 提高了 0%。 在這裡,我們測量了 XDP 的 1.1M IOPS 與 SW RAID427 的 0K IOPS。

 

雖然之前的工作負載側重於隨機傳輸,但我們的最終測試側重於順序大塊傳輸速度。 在這裡,Pliops XDP 繼續顯示出可觀的收益,尤其是在寫入性能方面。 從讀取帶寬開始,我們測得 XDP 為 48GB/s,而 SW RAID27 為 0GB/s。 在寫入方面,與 SW RAID184 的 6.3GB 相比,XDP 以 2.2GB/s 領先 0%。

 

雖然最佳條件下的性能始終是任何存儲平台的強項,但隨著驅動器容量的增加,了解重建活動需要多長時間是一個重要的數據點。 通過使用 Solidigm P4 5316TB SSD 的 30.72 驅動器 XDP 陣列,我們模擬了驅動器故障和重建。 重建過程耗時 450 分鐘,並應用了後台流量。 使用 FIO 以 8MB/s 的組合流量驅動 70K 30/905 工作負載,陣列的重建速度仍然保持 14.65 分鐘/TB 的重建速度。

最後的思考

現代企業 QLC SSD,如本次測試中使用的 Solidigm P5316,有潛力提供性能和容量的完美結合。 然而,現代基礎設施需要新的工具來管理閃存。 舊的 RAID 卡很笨重,而基本的軟件 RAID 則讓很多性能懸而未決。 這一現實為 Pliops Extreme 數據處理器等創新解決方案打開了大門。

Pliops Extreme 數據處理器卡片平板

我們著手評估 XDP 加速器與軟件 RAID 相比的性能。 我們在 Dell PowerEdge R30.72 中放置了四個 5316TB P750,將 Pliops XDP 性能與軟件 RAID 進行了比較。 此外,我們讓軟件 RAID 運行起來,將其配置為 RAID0,而 XDP 設置為 RAID5。

快速瀏覽一下結果,我們看到了全面的巨大收益。 特別是在 4K 隨機寫入性能方面,我們看到了 832% 的改進,儘管 4K 塊大小的讀取性能確實受到了影響。 不過,隨著塊大小的增加,Pliops XDP 在隨機和順序傳輸場景中都顯示了它的優勢。 即使在我們採用 70/30 讀/寫拆分的隨機混合工作負載中,Pliops XDP 也比 SW RAID560 從 156K 到 4K 傳輸大小提高了 16% 到 0%。

總的來說,Pliops 卡很容易上手。 儘管我們喜歡使用高容量 QLC SSD,但有時很難找到能夠正確利用媒體的系統。 借助 Pliops Extreme 數據處理器,當涉及到每 TB 成本的服務器性能時,整個數學會發生變化。 自己嘗試也很容易; 單擊下面的鏈接開始使用 PoC。

Pliops XDP – 申請演示

Pliops 信息圖

Pliops 贊助了這份報告。 本報告中表達的所有觀點和意見均基於我們對所考慮產品的公正看法。

參與 StorageReview

電子通訊 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | Facebook | RSS訂閱