NVMe SSD 正在接管數據中心，迅速鞏固自己作為關鍵任務應用程序的首選技術的地位。 NVMe 接口讓閃存自由運行，克服了 SATA 和 SAS 接口的遺留瓶頸。 儘管移除閃存閘門會帶來新的架構挑戰，但傳統的 HBA/RAID 卡服務器佈局無法輕鬆解決這些挑戰。 英特爾通過簡化的解決方案解決了這個問題，用於管理服務器中的 NVMe SSD。 CPU 上的虛擬 RAID，或簡稱為英特爾 VROC，本質上允許 SSD 直接訪問 CPU，從而完全消除了對 HBA 的需求。 這大大簡化了在服務器中充分利用 NVMe SSD 所需的數據路徑和組件。 除了企業級 RAID 之外，英特爾 VROC 還包括企業所需的預期可維護性，包括預啟動 RAID 管理、熱插拔支持和 LED 管理。
NVMe SSD 正在接管數據中心，迅速鞏固自己作為關鍵任務應用程序的首選技術的地位。 NVMe 接口讓閃存自由運行，克服了 SATA 和 SAS 接口的遺留瓶頸。 儘管移除閃存閘門會帶來新的架構挑戰，但傳統的 HBA/RAID 卡服務器佈局無法輕鬆解決這些挑戰。 英特爾通過簡化的解決方案解決了這個問題，用於管理服務器中的 NVMe SSD。 CPU 上的虛擬 RAID，或簡稱為英特爾 VROC，本質上允許 SSD 直接訪問 CPU，從而完全消除了對 HBA 的需求。 這大大簡化了在服務器中充分利用 NVMe SSD 所需的數據路徑和組件。 除了企業級 RAID 之外，英特爾 VROC 還包括企業所需的預期可維護性，包括預啟動 RAID 管理、熱插拔支持和 LED 管理。
為了更好地了解英特爾 VROC，了解另一種稱為英特爾捲管理設備 (英特爾 VMD) 的技術非常重要。 Intel VMD 與最新的 Intel Xeon 可擴展處理器兼容，是 CPU PCIe 根複合體中的集成控制器。 最終結果是英特爾 VMD 為連接的 NVMe SSD 啟用或多或少的虛擬 HBA。 這一點很重要，因為英特爾 VMD 提供了關鍵的驅動器可維護性功能，這些功能在不犧牲可靠性的情況下得到了簡化。 得益於 Intel VMD，NVMe SSD 可以在不中斷服務或重啟的情況下進行熱插拔。 英特爾 VMD 將插入和移除 PCIe 總線事件重定向到處理這些事件的 RAID 存儲感知驅動程序，並將啟動自動重建。 如果發生故障，知道要移除哪個驅動器也很重要，這在擁有數十個或數百個驅動器且供應商驅動器托架標籤做法不一致的數據中心可能很困難。 Intel VMD 支持 NVMe LED Management，符合 SATA 和 SAS 驅動器使用多年的驅動器燈規格，便於在需要時識別和維修 SSD。 Intel VMD 在業界也得到廣泛支持，例如 VMware 在 VMware ESXi 6.7 版本中原生支持 Intel VMD NVMe 驅動程序，其中包括對在 vSAN 中管理 NVMe SSD 的支持。
英特爾 VROC 基於英特爾 VMD 構建，將 NVMe SSD RAID 引入畫面。 目前，單個至強可擴展 CPU 最多可支持 12 個 NVMe 直連驅動器和最多 6 個 RAID 陣列。 雙進程系統將分別支持 24 和 12。 然而，一個 CPU 可以利用交換機在一個系統中支持多達 48 個 SSD。 英特爾 VROC 支持數據捲和引導卷，這在歷史上是 NVMe 驅動器難以實現的。 RAID 設置可通過 BIOS 或 CLI 配置，英特爾支持本地管理或通過 RESTful 代理遠程管理。
英特爾 VROC 作為物理密鑰出售； 提供三個 SKU。 標準支持 RAID 0/1/10 和第 3 方 SSD 支持。 Premium 許可證增加了對 RAID5 的支持。 還有一個 Intel SSD Only 許可證，顧名思義，它僅支持 Intel 驅動器，但提供完整的 RAID 選項。
除了許可證、NVMe SSD 和 Xeon Scalable CPU 之外，還需要兼容的服務器。 雖然英特爾 VROC 得到廣泛支持，但有些服務器供應商更喜歡他們自己的基於卡的技術來管理驅動器，而不是這種更現代的替代方案。 在這篇評論中，我們與 EchoStreams 合作，後者在其存儲服務器產品線中支持英特爾 VROC。的
對於這麼小的盒子， EchoStreams FlacheSAN1N10U-D5 非常靈活。 在我們的配置中，服務器配備了雙 Intel 8180M CPU、64GB RAM 和八個 2TB 英特爾 DC P4510 NVMe 固態硬盤. 該服務器提供三個 x16 PCIe 3.0 插槽，允許用戶通過高達 160TB 的 NVMe 閃存（10 個 16TB SSD）和三個 100Gbps 以太網 NIC 最大限度地發揮內部存儲容量的全部潛力。
機箱設計還允許在兩個 CPU、NVMe SSD 和出站 NIC 之間進行對稱佈局。 作為一款白盒產品，機箱還可以為最終用戶定制，支持其他 SSD 尺寸，如 15mm 和 7mm U.2 以及內部 M.2 SSD 和 Intel Optane。 最後，服務器可以配置雙 850W 交流電源，或設置為支持 48VDC 高效電源。 考慮到我們配置中的高端英特爾 CPU，更大的電源就派上用場了。
看看 FlacheSAN1N10U-D5 可以在哪裡增加價值，EchoStreams 將內容分發網絡 (CDN) 作為主要用例。 目前，客戶將這些節點用作數據中心或邊緣位置的緩存設備，以向最終用戶提供流行的內容。 還有幾所大學將該平台用於 HPC 和研究用途，其中計算能力和存儲吞吐量在解決複雜問題方面提供了關鍵優勢。 除了這些場景之外，該服務器還適用於媒體和娛樂後期製作工作流程，並且還可以與可以從 NVMe 存儲和高速網絡中受益的軟件定義存儲產品完美搭配。
EchoStreams FlacheSAN1N10U-UN 規格
| 外形尺寸 | 1U |
| 中央處理器 | 支持雙路 LGA3647 英特爾至強可擴展處理器 |
| 芯片組 | 英特爾C622 |
| 內存 | DDR4 高達 1.5TB RDIMM/RDIMM/LRDIMM 2666/2400 MHz |
| DIMM 插槽 | 截至到16 |
| 驅動器托架 |
|
| I / O接口 |
|
| 擴展插槽 |
|
| 背板 | 5 x 2-Bay NVMe 背板 |
| 支持的操作系統 |
|
| 電力 |
|
| 物理 |
|
| 環境建議 |
|
可用性和部署
該主板沒有用於配置英特爾 VROC 的精美 GUI，但它確實對用戶友好。 對於可能熟悉從控制台使用 mdadm 命令的 IT 管理員，英特爾 VROC 可自動執行大部分後端工作以簡化設置。 雖然沒有花里胡哨的東西，但對於大多數 IT 專業人員來說，使用起來並不困難。 在 BIOS 屏幕上，用戶可以設置他們的 RAID 卷，同時看到可用的物理磁盤。
接下來，可以命名卷（在本例中為 volume0），選擇 RAID 級別，並啟用跨越兩個 Intel VMD 控制器的 RAID。
設置 RAID 後，可以查看卷操作，例如刪除 RAID 卷或使其可啟動。
最後，用戶可以執行磁盤操作，例如重置為非 RAID 或從磁盤中刪除 RAID 數據。
一旦系統在我們的 CentOS 7.4 環境中啟動並運行，RAID 卷的配置就準備就緒並等待。 對於 RAID5/10 卷，您可以查看 mdstat 以了解後台初始化進度，或者如果您願意，可以手動更改整個 RAID 組。 BIOS 級別設置消除了啟動和運行 RAID 的大部分工作，但不會為需要額外級別自定義的用戶刪除或替換它。
性能
VDBench 工作負載分析
在對存儲陣列進行基準測試時，應用程序測試是最好的，綜合測試排在第二位。 雖然不能完美代表實際工作負載，但綜合測試確實有助於為具有可重複性因素的存儲設備建立基線，從而可以輕鬆地在競爭解決方案之間進行同類比較。 這些工作負載提供了一系列不同的測試配置文件，包括“四個角”測試、常見的數據庫傳輸大小測試，以及來自不同 VDI 環境的跟踪捕獲。 所有這些測試都利用通用的 vdBench 工作負載生成器，以及一個腳本引擎來自動化和捕獲大型計算測試集群的結果。 這使我們能夠在各種存儲設備上重複相同的工作負載，包括閃存陣列和單個存儲設備。
簡介：
- 4K 隨機讀取：100% 讀取，128 個線程，0-120% 重複率
- 4K 隨機寫入：100% 寫入，64 線程，0-120% iorate
- 64K 順序讀取：100% 讀取，16 線程，0-120% 迭代
- 64K 順序寫入：100% 寫入，8 個線程，0-120% 迭代
- 綜合數據庫：SQL 和 Oracle
- VDI 完整克隆和鏈接克隆跟踪
對於這一系列的 VDBench 測試，我們將運行我們的正常測試，而不是一個設備（例如 SSD、服務器或陣列），我們將在兩個 CPU 上平衡運行多個配置：
- JBOD 中有 8 個驅動器
- RAID0 中的兩組 XNUMX 個 SSD
- RAID5 中的兩組 XNUMX 個 SSD
- RAID10 中的兩組 XNUMX 個 SSD
下面顯示的數據是每個配置中使用的 8 個 SSD 的總和。 此數據只是為了強調此平台在英特爾 VROC 支持的各種配置中的能力。 應該注意的是，由於奇偶校驗計算和更新的複雜性，RAID5 在本次審查中發布了較低的寫入性能，並且基於 RAID 級別比較是預期的。
對於 4K 峰值隨機性能，所有 RAID 組的延遲都能夠保持在 1 毫秒以下（事實上，所有組都在 210 微秒以下）。 所有組的 IOPS 都在 2.5 萬到 3 萬之間，JBOD 組的性能最高，為 2,944,335 IOPS，延遲為 163 微秒。
4K 隨機寫入在不同的 RAID 組中沒有看到相同的統一性。 RAID5 組的性能最低，峰值為 21,921 IOPS，延遲為 936.7 毫秒。 其他 RAID 組表現更好，RAID0 組峰值為 1,879,180 IOPS，延遲為 1.35 毫秒。
切換到順序工作負載時，64K 讀取顯示所有 RAID 組都以亞毫秒級延遲開始，只有 JBOD 在 1K IOPS 或 330GB/s 時超過 22ms，峰值為 363,203 IOPS 或 22.7GB/s，延遲僅為 1.4多發性硬化症。
再次寫入時，RAID 組分解，提供非常不同的性能。 RAID5 組再次減少了約 25K IOPS，延遲為 4.3ms，RAID0 繼續達到 124,104 IOPS，延遲為 958μs。
接下來是我們的 SQL 工作負載。 所有 RAID 組都具有亞毫秒級延遲性能，直到大約 1.4 萬 IOPS。 在這裡，RAID5 組的延遲達到峰值，性能下降。 其他三組繼續在 1ms 以下，直到他們都突破了 2 萬 IOPS。 最高數字再次授予 RAID0 組，其峰值性能為 2,519,727 IOPS，延遲為 1.45 毫秒。
對於 SQL 90-10，我們看到 RAID5 組的延遲曲線更好，峰值為 302μs，但其峰值性能僅為 436,439 IOPS。 其他組在突破 1.5 毫秒之前達到了超過 1 萬次 IOPS，JBOD 和 RAID10 組均在此後不久達到峰值。 RAID0 組的峰值為 2,135,362 IOPS，延遲為 1.54 毫秒。
再一次在 SQL 80-20 中，RAID5 組具有亞毫秒級延遲，與其他組相比性能較低，為 345μs 至 212,980 IOPS。 其他組在 1 毫秒以下通過了 1 萬次 IOPS，JBOD 和 RAID10 不久後再次達到峰值，而 RAID0 在 1,753,622 IOPS 的延遲為 1.7 毫秒時達到峰值。
不出所料，我們的 Oracle 基準測試給了我們與上述類似的排名。 RAID5 組首先達到 61,695 IOPS 的峰值，延遲為 153μs。 在 RAID780 突破並達到峰值（1 IOPS，延遲為 10 毫秒）之前，其他驅動器在不到 954,567 毫秒的時間內一起達到了大約 2.63K IOPS，其次是 JBOD（峰值為 1,274,172 IOPS，延遲為 4.2 毫秒），並且最後是 RAID0 組，峰值為 1,472,338 IOPS，延遲為 2.18 毫秒。
Oracle 90-10 以 5 IOPS 和 406,693μs 的延遲在 RAID255 組中排名第一。 其他組在超過 1.5 萬 IOPS 之前具有亞毫秒延遲，並以我們所看到的相同方式達到峰值：RAID10、JBOD 和 RAID0 以 2,110,799 IOPS 和 1.55 毫秒的延遲位居榜首。
對於 Oracle 80-20，RAID5 組的峰值為 213,479 IOPS，延遲為 327μs。 其他組達到了超過 1 萬的 IOPS，然後 RAID0 以不到 1.65 毫秒的速度達到了 1 萬的 IOPS，並達到了 1,757,722 IOPS 的峰值，延遲為 1.63 毫秒。
接下來，我們切換到我們的 VDI 克隆測試，完整和鏈接。 在這裡，我們繼續看到不同 RAID 組的相同熟悉放置模式：RAID5、RAID10、JBOD 和 RAID0。 對於 VDI 完整克隆啟動，RAID5 組的峰值為 288,613 IOPS，延遲為 182μs。 其他組以亞毫秒延遲達到近 1.2 萬次 IOPS，首先 RAID10 組達到 1,217,620 IOPS，延遲為 2.65 毫秒，其次是 JBOD 組，達到 1,314,075 IOPS，延遲為 4.19 毫秒，然後是 RAID0 組，達到 1,400,765 IOPS延遲為 2.22 毫秒。
使用 VDI FC 初始登錄時，RAID5 組的運行峰值非常短，達到 13,296 IOPS 和 286μs 的延遲。 其他驅動器在突破 175 毫秒之前達到了 1K IOPS。 RAID0 組一直達到 390K IOPS，延遲為亞毫秒，峰值為 429,692 IOPS，延遲為 4.98 毫秒。
使用 VDI FC Monday 登錄時，RAID5 組在 15μs 時達到 262K IOPS 的峰值。 其他 RAID 組在突破 150ms 之前超過了 1K，RAID10 組和 JBOD 分別看到相當高的延遲 12.8ms 和 11.7ms，儘管性能令人印象深刻，分別為 234,431 IOPS 和 341,483 IOPS。 RAID0 組的整體性能最好，為 435,641 IOPS，延遲為 5.67 毫秒。
切換到我們的 VDI 鏈接克隆測試，我們看到啟動時所有組的性能都更強，RAID5 組峰值為 543,680 IOPS 和 407μs 延遲，RAID10 峰值為 782,224，延遲為 4.76 毫秒，JBOD 峰值為 822,555 IOPS，延遲為 11.52 毫秒，以及RAID0 峰值為 820,998 IOPS，延遲為 4.39 毫秒。
通過 VDI LC 初始登錄，我們看到峰值性能從 RAID10,998 的 312 IOPS 和 5μs 延遲到 RAID276,814 的 7.88 IOPS 和 0ms 延遲。
最後，在 VDI LC Monday Login 中，我們繼續看到 RAID5 的模式首先完成（在 11,591μs 時為 315 IOPS），然後是 RAID10（在 155ms 峰值時大約為 1.2K IOPS），然後是 JBOD（在 238ms 峰值時大約為 15.8K IOPS），最後是 RAID0（ 279,332 毫秒時為 8.06 次 IOPS）。
結論
查看此 1U EchoStreams 平台上的英特爾 VROC 性能，我們查看了四個不同的測試組，每個測試組使用來自 8 倍英特爾 P4510 NVMe SSD 的聚合數據。 很容易將 RAID0 宣佈為組中的“贏家”，但由於 RAID 的工作方式，這是出於預期的原因。 從下往上看性能結果； 正如一開始所指出的，RAID5 具有奇偶校驗計算的嚴重數據冗餘損失，並且清楚地反映在數據中。 RAID10使用鏡像，因此冗餘損失要低得多，因此與RAID5相比，結果有了很大的飛躍。 該組之後是 JBOD，具有綜合直通性能。 RAID0 領先於數字，因為它只關注性能並利用通過數據條帶化協同工作的驅動器，但犧牲了數據彈性。 從 RAID 功能的角度來看，所有數據都支持英特爾 VROC 實施良好並在精心設計的平台上提供一致和預期的結果這一事實。
我們不會詳細檢查每個結果（四組將產生總共 64 個結果），而是查看一些亮點。 在我們的 4K 測試中，我們看到 JBOD 組以亞毫秒級讀取延遲接近 3 萬次 IOPS，而 RAID0 僅以 1.9 毫秒延遲達到 1.35 萬次 IOPS。 對於 64K 順序，我們看到讀取速度高達 22.7GB/s，寫入速度高達 7.8GB/s。 我們的 SQL 測試看到 2.5 萬次 IOPS，2.1-90 的 10 萬次 IOPS 和 1.75-80 的 20 萬次 IOPS 均低於 1.7 毫秒的延遲。 甲骨文看到 1.47 萬次 IOPS，2.1-90 時 10 萬次 IOPS 和 1.76-80 時 20 萬次 IOPS，所有延遲均在 2.18 毫秒或更短。 我們的 VDI 測試顯示 FC Boot 為 1.4 萬 IOPS，FC Initial Login 為 430K IOPS，VDI FC Monday Login 為 436K IOPS，LC Boot 為 821K IOPS，LC Initial Login 為 277K IOPS，LC Monday Login 為 279K IOPS。
最終，英特爾 VROC 為 EchoStreams 等系統供應商提供的是一種使用 NVMe SSD 提供 RAID 的簡化方法。 結果是 EchoStreams 可以以更低的複雜性和成本提供出色的吞吐量和延遲。 此外，得益於 Intel VMD 的附加功能，EchoStreams 客戶通過 NVMe SSD 熱插拔、NVMe 驅動器燈支持和具有預啟動配置的可啟動 RAID 等功能提高了系統可維護性。 如前所述，用例多種多樣，但顯然 CDN 和其他人可以通過廣泛可用的最快存儲和網絡接口從企業級 RAID 中獲益，這具有巨大的潛力。
EchoStreams FlacheSAN1N10U-D5 產品頁面
