大約兩年前，我們完成了對 Viking Enterprise Solutions (VES) 存儲服務器的審查，該服務器在 24U 機箱中具有 2 個 NVMe 托架和雙計算節點。 VES 是一家主要的 OEM，創造了市場上一些最具創新性的存儲服務器系統。 最近，我們有機會親身體驗了他們針對單端口 NVMe 驅動器優化的存儲服務器版本。 自然地，我們拿了 24 個 Solidigm P5316 30.72TB QLC SSD，將它們放入服務器，然後退後一步看看近 750TB 的 RAW 閃存可以做什麼。
大約兩年前，我們完成了對 Viking Enterprise Solutions (VES) 存儲服務器的審查，該服務器在 24U 機箱中具有 2 個 NVMe 托架和雙計算節點。 VES 是一家主要的 OEM，創造了市場上一些最具創新性的存儲服務器系統。 最近，我們有機會親身體驗了他們針對單端口 NVMe 驅動器優化的存儲服務器版本。 自然地，我們拿了 24 個 Solidigm P5316 30.72TB QLC SSD，將它們放入服務器，然後退後一步看看近 750TB 的 RAW 閃存可以做什麼。
除了 OEM 工作外，VES 還向各種 HPC 和超大規模客戶銷售產品。 這是一個重要的考慮因素，因為當我們考慮傳統企業領域之外的存儲服務器性能時，擁有海量數據足蹟的組織配置存儲的方式是不同的。
這些服務器針對的許多工作負載是我們認為的現代分析和 AI 應用程序，在這些應用程序中，性能至關重要，而數據可用性則不那麼重要。 因此，這些配置看起來不像傳統的 SAN，後者主要關注數據服務和彈性。 在此示例中，我們在 VES 存儲服務器中配置以獲得最佳性能，而不是添加 I/O 卡並將服務器用作共享存儲。
這種配置的細微差別很重要。 我們正在為系統背面的每個 AMD EPYC 計算節點提供 12 個 P5316 SSD。 這些節點處理 JBOD 中的存儲，假定數據可用性的應用程序級彈性。 雖然我們沒有在本報告中使用 GPU，但為分析或推理工作負載配置 NVIDIA A2 之類的節點是非常合理的。
不過，在我們深入研究服務器和存儲配置之前，讓我們先了解一下作為這項工作一部分的關鍵硬件組件。
Viking Enterprise Solutions VSS2249P 存儲服務器
對於這項工作，我們去 VES 尋找一台功能強大的服務器，它可以充分利用前面的 24 個 Solidigm P5316 30.72TB SSD。 這不是一個小問題； 單端口驅動器在可以從一個 AMD 服務器節點向每個驅動器提供四個 PCIe v4 通道的解決方案中表現最佳。 直接訪問提供每個 SSD 的最高性能，而不是流經可能限制帶寬的內部擴展器。 此外，與之前為雙端口 SSD 設計的 Viking Enterprise Server 的評論相比，該系統專為單端口 SSD 設計，如 Solidigm P5316。
Viking 企業解決方案 VSS2249P 亮點
Viking Enterprise Solutions VSS2249P 是一款 2U 雙節點存儲服務器，具有 24 個用於單端口 U.2 PCIe v4 驅動器的托架。 更具體地說，每個服務器節點（或模塊）通過 x12 PCIe Gen2.5 通道支持 2 個單端口、熱插拔 NVMe 8639 英寸 U.4 (SFF-4) SSD，使其成為性能驅動的服務器。 這使其成為 I/O 瓶頸可能成為問題的用例的理想選擇，例如邊緣計算存儲、分析、機器學習、AI、OLTP 數據庫、高頻交易以及建模、模擬、科學研究和其他高性能用例。
VES 是一家領先的存儲和服務器開發公司，專門為高性能和雲計算企業 OEM 客戶開發大規模解決方案。 由於其廣泛的客戶組合，他們在開發解決方案時在利用新興技術方面擁有豐富的經驗，這有助於為客戶提供競爭優勢。 我們期望 VSS2249P 也有很多相同之處。
Solidigm D5-P5316
我們的實驗室以前有過這台服務器，但這次我們用 30.72TB 填充了它們 Solidigm D5-P5316 PCIe Gen4 NVMe SSD，通過 U.2 15mm 外形規格存儲近四分之三拍字節。 這將允許客戶（特別是在超大規模空間中）進行大規模部署。 D5-P5316 驅動器還採用 144 層 QLC NAND，這將降低成本，同時保留高容量模型和穩定的性能。
據稱 D5-P5316 可提供高達 7GB/s 的順序讀取速度，而 30.72TB 型號的寫入速度稍快一些，為 3.6GB/s。 在隨機 4K 讀取中，Solidigm 對所有型號的新驅動器的報價均為 800,000 IOPS。 該驅動器還具有 0.41 驅動器每天寫入 (DWPD) 評級、5 年保修和一系列增強的安全性，包括 AES-256 硬件加密、NVMe 清理和固件測量。
這些驅動器非常適合需要優化和加速數據中心工作負載（例如內容交付網絡 (CDN)、超融合基礎設施 (HCI) 和大數據）中的存儲的環境。
總的來說，我們發現 Solidigm 創造的驅動器在容量、性能和成本之間找到了出色的平衡——這非常適合 VSS2249P。
Viking Enterprise Solutions VSS2249P 組件和構建
VSS2249P 機箱內的兩個服務器模塊支持熱插拔，配備 AMD EPYC Rome CPU、兩個 x16 PCIe Gen4 插槽和一個支持 Gen 3.0 PCIe 附加卡的 OCPNIC v4，以及多達 8 個 DIMM。 VSS3.43P 的尺寸為 17.2 英寸（高）x 27.44 英寸（寬）x 2249 英寸（深），還符合行業標準的 19 英寸、1.0 米機架的規格，使其可以部署在各種應用。
我們配置中的每個節點都包含一個 AMD EPYC 7402P CPU，它具有 24 個內核、2.8GHz 的基本時鐘（最大提升 3.35GHz）、48 個線程和 128MB 的三級緩存。 它還配備了 3GB DDR64 RAM（4 x 8GB）和 8GB M.250 啟動 SSD。
VSS2249P 設計為無線系統。 例如，驅動平面為電源、數據和管理以及 PSU 提供連接。 系統風扇也是服務器底座組件的一部分（通過風扇板連接到驅動平面），並由驅動平面供電和控制。 為了便於訪問，風扇通過頂蓋被移除。 所有 SSD 都直接插入中間平面。 這使得對 VSS2249P 的服務變得無縫，同時由於沒有電纜，氣流更好，因此服務器節點溫度更低。
維京 VSS2249P 規格
| 擴展模組 | 2 節點，單端口驅動器 |
| 第 4 代 PCIe 插槽 | 兩個 x16 HH/HL，一個 x16 Gen OCP v3 |
| NTB | 不適用 |
| 服務器容器 | 單 CPU，8 個 DDR4 DIMM 插槽 |
| Firmware / 硬體 |
|
| 中央處理器 | EPYC（羅馬或米蘭）CPU |
| 管理網絡 | 1GbE – 管理端口 |
| 服務器 |
|
| 記憶體應用 |
|
| 外部介面 | 1 個 USB、1 個 Displayport、1Gb IPMI、1 個 MicroUSB 控制台端口 |
| 交流電源 |
|
| 熱插拔組件 |
|
| 工作環境 |
|
| 非操作環境 |
|
| 2U 機箱尺寸和重量 |
|
24 x Solidigm D5-P5316 性能測試
雖然我們大多數人都將 QLC 閃存視為 TLC SSD 的低性能替代品，但這只是考慮了等式的一方面。 由於架構決策，如粗略間接，較小塊隨機寫入性能可能較低，但順序寫入和大塊隨機寫入性能非常有競爭力，非常接近入門級 TLC DC SSD。
對於市場上基於 TLC 的閃存，寫入速度較低，但讀取性能即使不是完全具有競爭力，但仍然非常強大。 我們在本次審查中的重點是在 24 節點服務器中利用 5316 個 Solidigm P30.72 2TB SSD，展示了我們可以在其背後提供大量計算的情況下將它們推到多遠。
上次我們查看類似的 Viking Enterprise Solutions 系統時，它被構建為在兩個節點之間共享 24 個 SSD，每個節點都可以通過多路徑訪問每個 SSD。 VSS2249P 在後端使用類似的節點，儘管 12 個 SSD 直接連接到一個節點，其餘 12 個連接到另一個節點。 這為每個 SSD 提供了完整的 4 通道 PCIe Gen4 通道返回到它所連接的節點。
我們在每台服務器上安裝了 Ubuntu 20.04，並利用 FIO 同時使所有 24 個 Solidigm P5316 SSD 飽和。 每個 SSD 通過順序填充完全填滿，然後進行分區以將工作負載佔用空間集中在驅動器表面的 5% 上。 我們專注於與傳統閃存媒體重疊的 QLC 優化塊大小。 主要區別歸結為最小化小於 64K 的寫入活動，這迫使 QLC 閃存的寫入間接痛點。 話雖如此，我們測量的工作負載如下：
- 1MB連續
- 64K 連續
- 64K隨機
- 64K隨機70R/30W
- 64K隨機90R/10W
- 4K 隨機讀取
在我們使用 1MB 順序傳輸大小的第一個測試中，我們在 175.5 個 P24 SSD 上測得令人難以置信的 5316GB/s 帶寬。 結果表明，前端每個 SSD 的速度剛好超過 7.3GB/s。 對於連續的 1M 寫入工作負載，該數量為每個 SSD 56.1GB/s 或 2.34GB/s。
將塊大小減小到 64K 工作負載，Solidigm P5316 SSD 提供 159GB/s 的帶寬或每個 SSD 超過 6.62GB/s。 每個 SSD 的寫入工作負載測得為 57.7GB/s 或 2.40GB/s。
由於並非所有工作負載都是順序的，我們轉向要求更高的 64K 隨機工作集，這使 QLC SSD 處於壓力最大的情況之一。 讀取流量的帶寬最高，達到了驚人的 176.3GB/s。 不過，從讀取切換到寫入，這是 P5316 SSD 承受最大壓力的地方，每個驅動器的測量速度為 13.2GB/s 或 550MB/s。 這與此工作負載的規格表數字一致，但確實顯示了這些 SSD 達到其極限的位置。
知道 64K 隨機讀取提供最高的驅動器性能而寫入提供最低，我們研究了混合工作負載組合，以了解這些驅動器如何隨著讀/寫平衡的變化而變化。 在 70% 讀取 64K 隨機工作負載的情況下，驅動器組測得 44GB/s。 然而，當我們進一步調整到 90% 讀取時，帶寬飆升至 130.7GB/s。 這進一步推動了這樣一個觀點，即部署在正確情況下的 QLC SSD 可以成為強大的驅動器，儘管它們並非旨在在所有情況下取代 TLC SSD。
結束測試後，我們查看了專注於 4K 隨機讀取性能的峰值吞吐量測試。 4K 寫入被跳過，因為這些驅動器使用 64K 的粗略間接單元並且不會在 4K 上提供最高性能。 在 4K 隨機讀取中，我們測得接近 87GB/s 的 4K 流量或 21.2 萬次 IOPS。 這是一個令人印象深刻的統計數據，與市場上的 TLC SSD 產品密切相關。
最後的思考
過去，我們對 Solidigm 的 QLC SSD 進行了大量工作，但這是迄今為止我們對它們所做的最重要的工作，將近 750TB 的存儲塞入了一個 2U 服務器。 我們想了解驅動器在分析和推理等應用程序可以利用現代平台設計的配置中的表現。 雖然對 QLC 的普遍感覺是它們只適用於價值或存檔項目，但事實並非如此。
在性能方面，我們可以看到 VES VSS5316P 存儲服務器中的 P2249 SSD 能夠發布驚人的結果。 大塊順序性能使服務器飽和，每個 SSD 的讀取性能幾乎都達到了其 Gen4 U.2 托架的極限。 我們在 175.5M 讀取中測得 1GB/s，計算得出每個 SSD 為 7.3GB/s。
隨機讀取性能也很好，在 176.3K 塊大小下達到 64GB/s。 但是不要小看寫入性能； 這些驅動器在大量阻塞的工作負載中表現出色。 64K 順序寫入測得為 57.7GB/s，而 64K 隨機寫入逐漸下降至 13.2GB/s。 以讀取活動為重點的混合工作負載表現相當不錯，我們在 44K 64/70 中測得 30GB/s，在 131K 64/90 中測得略低於 10GB/s。 最後，對於小塊隨機讀取，我們在 86.9K 工作負載中測得驚人的 21.2GB/s 或 4M IOPS。
過去，我們已經完成了雙節點 HA 版本的工作 維京企業服務器 利用雙端口 TLC SSD。 雖然不完全是同類產品，但有一些有趣的趨勢線表明這些 QLC SSD 與 TLC 解決方案相比非常出色。
兩個驅動器組都能夠驅動巨大的帶寬，其中 TLC SSD 測量為 125GB/s，Solidigm P5316 QLC SSD 在 159K 順序讀取中測量為 64GB/s。 寫入性能也很接近，TLC SSD 在 63.2K 順序寫入中的速度為 64GB/s，而 P5316s 為 57.7GB/s。
該數據並不意味著 QLC 可以在所有應用中完全替代 TLC，TLC 仍然具有很大的優勢，因為寫入百分比和對耐用性的需求增加。 不過，對於許多用例，QLC SSD 已準備好部署，並且通常比 TLC 競爭對手更快，尤其是在工作負載不是非常密集的寫入時。
此外，如果您需要容量和性能的結合，QLC DC SSD 無疑會勝出，這是 QLC 以及未來 PLC SSD 的獨特組合，可以很好地服務。 鑑於我們在這台 VES 存儲服務器中發布了超過 175GB/s 的數據，在 3U 中將近 4/2 PB 的存儲空間，機架效率看起來非常引人注目。
Solidigm 贊助了這份報告。 本報告中表達的所有觀點和意見均基於我們對所考慮產品的公正看法。
參與 StorageReview
電子報 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | Facebook | RSS訂閱
