Broadcom MegaRAID 9670W-16i RAID 卡評測

MegaRAID 9600 系列是第三代存儲適配器，支持 SATA、SAS 和 NVMe 驅動器，旨在為存儲服務器提供最佳性能和數據可用性。 與上一代產品相比，9600 系列的帶寬提高了 2 倍，IOP 提高了 4 倍以上，寫入延遲降低了 25 倍，重建期間的性能提高了 60 倍。

MegaRAID 9600 系列是第三代存儲適配器，支持 SATA、SAS 和 NVMe 驅動器，旨在為存儲服務器提供最佳性能和數據可用性。 與上一代產品相比，9600 系列的帶寬提高了 2 倍，IOP 提高了 4 倍以上，寫入延遲降低了 25 倍，重建期間的性能提高了 60 倍。 像往常一樣，9600 系列卡包括許多配置。 在這篇評測中，我們關注的是支持 9670 個內部端口的 Broadcom MegaRAID 16W-16i。

MegaRAID 9670W-16i 基於 SAS4116W 片上 RAID (RoC)，這是全面提升性能的關鍵因素。 用戶可以使用 x240 PCIe Gen 32 接口在每個控制器上連接多達 16 個 SAS/SATA 設備或 4.0 個 NVMe 設備。

9600 系列還具有硬件安全啟動和 SPDM 證明支持、平衡保護以及 RAID 0、1、5、6、10、50 和 60 和 JBOD 的性能。 CacheVault 閃存緩存保護是那些想要更多保護的人的一個選擇。

為什麼 NVMe 的硬件 RAID？

硬件 RAID 一直是提供彈性存儲的首選選項，因為在今天的 IT 管理員還沒有鬍子之前。 但隨著存儲變得更快，特別是 NVMe SSD，RAID 卡一直在努力跟上時代的步伐。 因此，當 Broadcom 讓我們對 MegaRAID 9670W-16i 進行評測時，我們有點懷疑。 事實是 RAID 卡存在性能成本，因此我們多年來一直避免使用它們。 也就是說，硬件 RAID 提供的價值是不可否認的。

對於不提供軟件 RAID 選項（包括 VMware ESXi）的環境，客戶無法輕鬆地聚合存儲或使用 RAID 保護存儲。 儘管可以在集群級別輕鬆實施 vSAN，但它不能用於邊緣的獨立 ESXi 節點。 在這裡，客戶可能希望獲得將 RAID 中的多個 SSD 組合在一起以獲得更大的數據存儲或某些數據彈性的好處。

即使在為單個服務器提供存儲空間的 Windows 中，某些軟件 RAID 類型（例如 RAID5/6）也會受到重大打擊。 過去，硬件 RAID 一直是彌合 SAS 和 SATA 設備性能差距的有效解決方案，MegaRAID 9670W 旨在改變 NVMe 設備的性能差距。

Broadcom MegaRAID 9670W-16i 測試台

對於這次審查，我們與美光、超微和博通合作組裝了一個測試台。 服務器是 Supermicro AS-1114S-WN10RT 1U 系統，配備 AMD Milan 7643 CPU 和 128GB DDR4。 該系統內部裝有 9670W-16i，連接到雙 8 槽 NVMe JBOD。 每個內部都有 8 個格式化為 7450TB 容量的 Micron 6.4 SSD。

為了通過 MegaRAID 9670W-16i 適配器測量驅動器的性能，基準測試分為以下配置。 第一個包括 JBOD 配置，測量 RAID 之外的每個驅動器（但仍通過 HBA）、RAID10，然後是 RAID5 配置。 這些配置通過腳本編寫過程進行了預處理，以對閃存進行預處理，運行它們經過調節的測試，然後轉移到下一個預處理/工作負載組合。 這個過程總共耗時約 16 小時。

• 此順序的總測試運行時間約為 16 小時：
• 順序預處理 (~2:15)
• 16x JBOD、2x 8DR10、2x 8DR5 的順序測試（約 2 小時）
• 隨機預處理 - 2 部分（~4:30）
• 16x JBOD、2x 8DR10、2x 8DR5 的隨機優化測試（約 3 小時）
• 在 1x 16DR10、1x 16DR5 (~2:30) 上進行隨機重建測試
• 優化和重建 1x 16DR5 的隨機寫入延遲 (~1:40)

性能指標的第一部分側重於 JBOD、RAID10 和 RAID5 模式下通過卡的帶寬。 MegaRAID 9670W-16i 提供 x16 PCIe Gen4 插槽寬度，其峰值性能將在一個方向上達到 28GB/s 左右，這也是 Gen4 插槽達到頂峰的地方。 相比之下，U.2 Gen4 SSD 通過 x4 連接進行連接，峰值速度約為 7GB/s，這是大多數企業驅動器在讀取工作負載時可以達到的峰值。

話雖如此，MegaRAID 9670W 完全飽和了它所連接的插槽。 在查看讀取性能時，JBOD 配置的 RAID28.3 為 10GB/s，而 RAID5 的速度略低於 28GB/s。 當我們將注意力轉向寫入性能時，JBOD 基線為 26.7GB/s，而 RAID10 配置為 10.1GB/s，RAID5 為 13.2GB/s。 當我們查看同時讀取和寫入流量的 50:50 分配時，JBOD 配置測量為 41.6GB/s，RAID10 為 19.6GB/s，RAID5 為 25.8GB/s。

當我們將注意力轉移到小塊隨機傳輸時，我們發現 MegaRAID 9670W 的讀取性能與 7M IOPS 的 JBOD 基線數字相比保持得相當好。 如果 RAID 組中的一個 SSD 出現故障，則在重建操作期間，該速度會下降到大約一半 (3.2M IOPS)。 查看隨機寫入性能，JBOD 基線測得 6.3M IOPS，而 RAID2.2 為 10M，RAID1 為 5M。 當組中的 SSD 發生故障並且 RAID 卡被迫重建時，這些數字並沒有出現明顯下降。 在那種情況下，RAID10 沒有改變，儘管 RAID5 從 1M 下降到 788k IOPS。

在具有讀寫性能混合的 4K OLTP 工作負載中，JBOD 基線測得 7.8M IOPS，而 RAID10 為 5.6M IOPS，RAID5 為 2.8M IOPS。 在重建期間，RAID10 從 5.6M 下降到 2.4M IOPS，RAID5 從 2.8M 下降到 1.8M IOPS。

RAID 性能的另一個重要方面是存儲在最佳條件和驅動器出現故障時的重建性能之間的表現。 如果性能或延遲受到巨大影響，應用程序響應能力可能會成為問題。 為此，我們專注於優化和重建模式下的 RAID5 4K 隨機寫入延遲。 在整個範圍內，延遲仍然非常相似，這正是您希望在生產環境存儲系統中看到的。

我們不僅通過時間點性能指標評估了每種模式的整體性能，其中還包括重建操作期間 RAID 卡的性能，而且我們還進行了測試以確定重建所需的總時間。 在 RAID10 中，從 RAID 組中刪除一個 6.4TB SSD 並將其重新添加到 RAID60.7 需要 10 分鐘，重建速度為 10.4 分鐘/TB。 RAID5組耗時82.3分鐘，速度為14.1 Min/TB。

最後的思考

老實說，我們進入這篇評論時，頭微微翹起，眉毛揚起。 除了圍繞 GPU 設計的新興解決方案類別之外，我們已經有一段時間沒有聽到針對 NVMe SSD 的 RAID 卡宣傳。 所以我們不得不問一個基本問題，硬件 RAID 甚至可以成為 NVMe SSD 的東西嗎？

答案顯然是肯定的。 PCIe Gen4 的性能使 MegaRAID 9670W-16i RAID 卡能夠在各種工作負載中與現代 SSD 保持同步。 是的，帶寬等某些領域會因 PCIe 通道減少而受到限制，但大多數生產環境同樣不會處於這些水平。

在峰值帶寬方面，我們看到 MegaRAID 9670W-16i 的讀取帶寬達到了 16GB/s 的 x4 PCIe Gen28 限制，在 RAID13 中提供了高達 5GB/s 的寫入帶寬。 在吞吐量方面，隨機 4K 讀取性能最高為 7M IOPS，寫入範圍為 RAID1 和 RAID2.1 之間的 5 到 10M IOPS。 對於希望將閃存整合到更大容量或繞過不支持軟件 RAID 的系統的部署，MegaRAID 9670W 可以提供很多功能。

如果您喜歡存儲適配器，那麼您將獲得更多此類報導。 我們已經在探索最新一代的服務器，例如 Dell PowerEdge R760，它提供基於與該卡相同的芯片的雙 RAID 卡配置。 在 R760 案例中，戴爾為每張卡連接了 8 個 NVMe SSD，為我們提供了比我們在這裡測試驗證的解決方案更強大的企業解決方案。 因此，現在看來 RAID 卡又回到了帶有 NVMe SSD 的服務器的菜單上，還有很多事情要做。

博通 9670W-16i 產品頁面

參與 StorageReview

電子通訊 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | 的TikTok | RSS訂閱