我們已經多次查看 Graid SupremeRAID 卡和軟體,並且對 Graid 所實現的極端儲存效能印象深刻。 傳統的硬體和軟體 RAID 在性能方面都有很大的不足,這為 Graid 帶來更好的捕鼠器打開了大門。 隨著 Gen5 SSD 的批量出貨,我們組裝了一台配備精良的伺服器,看看讓快閃記憶體飛起來會發生什麼。
我們已經多次查看 Graid SupremeRAID 卡和軟體,並且對 Graid 所實現的極端儲存效能印象深刻。 傳統的硬體和軟體 RAID 在性能方面都有很大的不足,這為 Graid 帶來更好的捕鼠器打開了大門。 隨著 Gen5 SSD 的批量出貨,我們組裝了一台配備精良的伺服器,看看讓快閃記憶體飛起來會發生什麼。
為什麼選擇 Grad SupremeRAID 與硬體 RAID?
Graid 解決方案包含兩個核心元素:GPU 和軟體定義儲存 (SDS) 堆疊。 與 RAID 卡一樣,GPU 將大部分磁碟機管理和資料保護任務從 CPU 中分離出來,從而將 CPU 騰出來運行應用程式。 然而,與 RAID 卡不同的是,SupremeRAID 的效率要高得多。 它直接透過 PCIe 總線對驅動器進行尋址,無需額外的佈線或複雜的機箱配置。 由於 GPU 比 RAID 卡的 ASIC 更具動態性,因此 Graid 的效能擴充得到了極大的提升。
當查看伺服器內出現瓶頸的位置時,擴充優勢立即顯而易見。 目前的 RAID 卡僅限於 Gen4,最高可達 28GB/s。 四個像樣的 Gen4 SSD 可以使單一 RAID 卡飽和。 該系統需要多個 RAID 卡才能利用 24 盤位伺服器中的所有磁碟機。 另一方面,SupremeRAID 可以在單一系統中支援 32 個驅動器,並且沒有 PCIe 插槽頻寬限制。
隨著每一代介面的飛躍,硬體 RAID 的效能問題變得更加複雜。 為了支援 Gen5 SSD,需要新的硬體 RAID ASIC。 但即便如此,硬體 RAID 仍將面臨與上述相同的擴充問題。 SupremeRAID GPU 目前使用 Gen4 接口,公平地說,這目前只是 Intel/AMD/NVIDIA 的問題。 但這並不能阻止它釋放 Gen5 硬碟的效能。 這意味著高達 260GB/s 和 28M IOPS 的效能等級。 當 Gen5 GPU 上市時,Graid 可以進一步提高 IOPS 數字。
關於 Graid GPU 的最後一點:今天,它們的大部分實作都在 SR-1010 產品,利用 NVIDIA A2000 GPU。 我們提出這一點是為了指出,Graid 不需要為 SupremeRAID 配備昂貴或難以找到的 GPU,也不需要使用外部電源的 GPU。 如果出於某種原因,用戶更喜歡備用卡,Graid 的軟體幾乎可以在我們在實驗室的 A2 上測試過的任何 NVIDIA 晶片上運行,並獲得出色的結果。 無論如何,GPU 都很容易安裝,並且不需要額外的電池。
為什麼選擇 Grad SupremeRAID 與 Software RAID?
由於早期 NVMe RAID 卡的成本、複雜性和中等效能,軟體 RAID 近年來迅速發展。 當我們需要一種快速、簡單的方法來將 NVMe SSD 組合在一起並上線時,我們就部署了 Windows 儲存空間、Linux MD 或 ZFS RAIDZ。 但與任何不使用硬體加速的儲存軟體一樣,也是有成本的。 主機 CPU 必須運行驅動器管理和資料保護,從而佔用應用程式的周期。 Graid 基於 GPU 的產品沒有此限制,可確保伺服器上的儲存空間和應用程式達到最佳效能。
此外,對於軟體 RAID,作業系統的選擇限制了選擇。 Graid 幾乎可以在任何東西上運行,包括超過六種 Linux 發行版和 Windows。 公平地說,與軟體 RAID 相比,Graid 的運作難度稍大; 系統中必須安裝 GPU,而額外的工作量可以說可以忽略不計。 然而,回報是驚人的,正如您將在下面看到的那樣。 我們談論的是 SupremeRAID 比軟體 RAID 的數量級。
Grid SupremeRAID Gen5 效能
對於此測試,我們將 Supermicro AS-2125HS-TNR 伺服器與兩個 AMD EPYC 9654 CPU、384GB DRAM 和 24 個 3.84TB 組合在一起 KIOXIA 的 CM7-R Gen5 SSD.
我們將磁碟機配置為 SW RAID 和 Graid 的 RAID5 配置。 對於條帶大小,我們為 Graid 使用 4K 條帶,為 mdadm 使用 4K、64K 和 512K 區塊。 軟體 RAID 需要改變區塊大小,才能在最佳化配置中顯示峰值 4K 傳輸速度,並在最佳狀態下顯示峰值大塊頻寬。 這對 Graid 來說並不那麼重要,它可以處理不同的區塊大小而不會影響效能。
- 伺服器:超微 AS-2125HS-TNR
- CPU:2 個 AMD EPYC 9654 96 核心處理器 x 2
- 記憶體:24 個三星 M321R2GA3BB6-CQKVS DDR5 4800 MT/s 16GB x 24
- NVMe 驅動器:24 個鎧俠 CM7-R 3.84T KCMY1RUG3T84 x 24
- RAID 控制器:SupremeRAID SR-1010
- SupremeRAID Driver: 1.5.0-659.g10e76f72.010
- Linux 作業系統:Ubuntu 22.04.1 LTS
RAID 5 FIO 性能 |
||||
測試 | 軟體 RAID5 4KB 區塊 |
軟體 RAID5 64K 區塊 |
軟體 RAID5 512K 區塊 |
SupremeRAID 4KB 條帶 |
1MB 順序寫入 (192T/16Q) | 1.22GB /秒 | 3.51GB /秒 | 801MB /秒 | 148GB /秒 |
1MB 順序讀取 (192T/16Q) | 21.8GB /秒 | 279GB /秒 | 235GB /秒 | 279GB /秒 |
64K隨機寫入(192T/16Q) | 822MB /秒 | 627MB /秒 | 795MB /秒 | 30.2GB /秒 |
4K隨機寫入(192T/32Q) | 49.8k IOPS(61.6 毫秒) | 205k IOPS(15.01 毫秒) | 78.7k IOPS(39 毫秒) | 2.02 萬 IOPS(1.52 毫秒) |
4K隨機讀取(192T/32Q) | 5.6 萬 IOPS(1.1 毫秒) | 5.5 萬 IOPS(1.11 毫秒) | 5.53 萬 IOPS(1.11 毫秒) | 28.5 萬 IOPS(22 毫秒) |
比較軟體 RAID 和 Graid 的效能令人大開眼界。 就峰值頻寬而言,我們最終在評估期間將 mdadm 區塊大小從 4K 增加到 64K 和 512K,因為在 4K 時,峰值讀取頻寬較低。 Mdadm 總體來說不是很好,但最高的順序讀取速度是在 64K 區塊大小中,測量為 279GB/s,與 Graid HW RAID 配置的速度相符。 在 3.51K 區塊大小下,SW RAID 的順序寫入效能最高為 64GB/s,儘管這與測得的 148GB/s 的 Graid 相比根本不算什麼。
當轉向 64K 的大塊隨機寫入傳輸時,SW RAID 的速度範圍為 627MB/s 到 822MB/s,而 Graid 則將其從水中脫穎而出,測量為 30.2GB/s。
在最後一個方面,我們透過觀察隨機 4K 傳輸速度,測量了 4K 區塊大小的最大 SW RAID 效能,在 5.6 毫秒時測得 1.1M IOPS。 在同一測試中,Graid 的 IOPS 達到了令人印象深刻的 28.5 萬。 4K 寫入速度在 64K 區塊上實現了最佳的 SW RAID 效能,在 205 毫秒時測得 15.01k IOPS,而 Graid 在 2.02 毫秒時測得 1.52M IOPS。
最後的思考
我們已經實踐了幾乎所有現代 RAID 風格,從專用硬體卡到各種基於軟體的解決方案。 我們也在三種不同的 GPU 以及各種 SSD 媒體類型和 NVMe 介面上多次測試了 Graid 解決方案。 公平地說,許多資料集(例如備份和復原、大型資料湖、檔案共用以及許多其他沒有嚴格效能要求的資料集)都會對這些解決方案感到非常滿意。 但如果應用程式需要完全存取底層閃存,Graid 就完全在另一個層面上發揮作用。
雖然大多數客戶看到 NVMe 硬體並認為無論如何效能都會很棒,但重要的是要了解這些系統在磁碟機組合後將如何執行,然後在其上方添加 RAID 層。 在 Linux 環境中,軟體 RAID 在跟上 NVMe 裝置(尤其是 Gen5 SSD)方面確實顯示出其限制。
雖然單一磁碟機效能很強,但並非所有 RAID 解決方案都最適合。 在相互比較最佳化配置後,Graid 在279 個KIOXIA CM148-R Gen24 SSD 上提供了超過7GB/s 的讀取頻寬和5GB/s 的寫入頻寬,而SW RAID 管理的頻寬為279GB/s 的讀取和3.51GB/s 的寫入。 在 4K 隨機傳輸中,我們看到 Graid 實現了令人難以置信的 28.5M IOPS 讀取和 2.02M IOPS 寫入,而 SW RAID 僅提供 5.6M IOPS 讀取和 205k IOPS 寫入。 對於某些環境來說,SW RAID 可能“足夠快”,但對於那些需要盡可能最高性能水平的環境來說,它幾乎無法與 Graid 的 SupremeRAID 相比。
為了最大限度地提高像這樣的單一主機中的 NVMe SSD 效能,我們在市場上還沒有看到任何可以觸及 Graid SupremeRAID Gen5 解決方案的產品。 太棒了,在本次測試中,我們在廉價的 NVIDIA A2000 GPU 上完成了這項工作。 任何希望最大化 Gen5 快閃記憶體投資的組織都應該明智地採用 Graid PoC,以了解其技術的影響力。
參與 StorageReview
電子通訊 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | 的TikTok | RSS訂閱