VMware VSAN 6.2 全閃存評測

去年我們發布了一個 VSAN 6.0 的詳細系列評論在混合配置中。今年XNUMX月， VMware 推出 VSAN 6.2，它通過重複數據刪除和壓縮以及許多其他功能為市場帶來了數據減少。數據縮減是 VSAN 向前邁出的重要一步，因為它搭載了閃存採用的大規模激增，這在很大程度上要歸功於價格下降和高質量的選擇。當在全閃存配置中啟用 VSAN 時，利用數據減少的用戶可以根據工作負載有效地將容量增加三倍（或更多），這真正為從 ROBO 到企業的每個人帶來了閃存的價值。

在我們繼續審查 VSAN 時，我們利用了在之前的混合審查中使用的相同 Dell PowerEdge R730xd 集群。我們對平台進行了更新，包括 BIOS、固件和 ESXi，以使其與 VSAN 6.2 兼容。不過，最大的變化之一是用東芝提供的全新全閃存配置替換我們現有的 HDD 和 SSD。通過利用市場上一些最快的 SAS3 SSD，我們能夠將所有註意力放在 VSAN 本身上，而不會受到硬件的阻礙。

Dell PowerEdge R730xd VMware 全閃存 VSAN 規格

Dell PowerEdge R730xd 服務器 (x4)
CPU：5 個 Intel Xeon E2697-3 v2.6 14GHz (28C/XNUMXT)
內存：64 x 16GB DDR4 RDIMM
SSD：
- 緩存：16 x 400GB Toshiba PX04 寫入密集型 SAS3
- 容量：80 x 960GB Toshiba PX04 讀取密集型 SAS3
網絡：4 x Intel X520 DP 10Gb DA/SFP+，+ I350 DP 1Gb 以太網
存儲容量：69.86TB

用於本次審查的東芝驅動器是東芝 PX04S 機型. 在我們之前的評論中，我們發現 PX04S 型號是迄今為止我們測試過的最快的 SAS 企業級 SSD。 PX04S 也是評測時容量最大的雙端口 SAS SSD。 PX04S 系列有多個耐力級別，從高耐力到低耐力，還有中等和超值耐力型號。對於本次審查，我們在 Dell PowerEdge R730xd 上安裝了 400 個 04GB 寫入密集型 (PX040SHB960) 和 04 個 096GB 超值耐用型 (PX25SVB3) 驅動器。寫入密集型驅動器擁有高達 02DWPD，價值耐用型驅動器高達 800DWPD。相比之下，在具有相同服務器的混合配置中，緩存層由每個主機的四個東芝 PXXNUMX XNUMXGB SSD 組成，緩存層容量增加一倍。

PX04SHB040 400GB 寫密集型硬盤規格：

性能
- 持續 64KiB 順序讀取：1,900MiB/s
- 持續 64KiB 順序寫入：850MiB/s
- 持續 4KiB 隨機讀取：270K IOPS
- 持續 4KiB 隨機寫入：125K IOPS
DWPD：25

PX04SVB096 960GB超值耐用硬盤規格：

性能
- 持續 64KiB 順序讀取：1,900MiB/s
- 持續 64KiB 順序寫入：850MiB/s
- 持續 4KiB 隨機讀取：270K IOPS
- 持續 4KiB 隨機寫入：60K IOPS
DWPD：3

應用程序工作負載分析

對於這次審查，我們使用所有 Toshiba PX730 SAS04 SSD 重新填充了 Dell PowerEdge R3xd VMware VSAN。第一個基準包括通過 SysBench 的 MySQL OLTP 性能 Microsoft SQL Server OLTP 性能具有模擬的 TPC-C 工作負載。

每個 SQL Server VM 配置有兩個虛擬磁盤，一個 100GB 用於啟動，另一個 500GB 用於數據庫和日誌文件。從系統資源的角度來看，我們為每個虛擬機配置了 16 個 vCPU、64GB DRAM 並利用了 LSI Logic SAS SCSI 控制器。這些測試旨在監控對延遲敏感的應用程序如何在具有適度但不過分的計算和存儲負載的集群上執行。

SQL Server 測試配置（每個虛擬機）

在Windows Server 2012 R2
存儲空間：分配 600GB，使用 500GB
SQL Server 2014的
- 數據庫大小：1,500 規模
- 虛擬客戶端負載：15,000
- 內存緩衝區：48GB
測試時長：3 小時
- 2.5 小時預處理
- 30分鐘採樣期

在超融合平台上的 SQL Server TPC-C 測試中，我們研究了混合模式、全閃存 (AF) 模式和全閃存數據縮減 (AF DR) 下整個集群的工作負載平衡。 AF 版本的性能略高於混合版本，單個 VM 的運行速度從 3,112.4 TPS 到 3,130.4 TPS，總得分為 12,472.8 TPS，是總體得分最高的。 DR 配置處於測試配置的低端，單個 VM 的運行速度從 2,982.1 TPS 到 3,009.6 TPS，總得分為 11,969.1 TPS。

對於SQL Server TPC-C測試，我們最關注的變量是平均延遲。交易性能中的小差距不會顯示完整的故事。在我們的平均延遲測試中，我們看到 AF 版本的最高得分為 64 毫秒，與混合版的最差得分相同。 AF 的平均得分也為 53 毫秒。 DR 配置再次墊底，最低為 236 毫秒，最高為 278 毫秒，平均為 261 毫秒。

系統性能

每個 Sysbench VM 配置了三個虛擬磁盤：一個用於引導 (~92GB)，一個用於預構建數據庫 (~447GB)，第三個用於測試中的數據庫 (400GB)。從系統資源的角度來看，我們為每個虛擬機配置了 16 個 vCPU、64GB DRAM 並利用了 LSI Logic SAS SCSI 控制器。

Sysbench 測試配置（每個虛擬機）

中央操作系統 6.3 64 位
存儲空間：1TB，已使用 800GB
Percona XtraDB 5.5.30-rel30.1
- 數據庫表：100
- 數據庫大小：10,000,000
- 數據庫線程：32
- 內存緩衝區：24GB
測試時長：12 小時
- 6 小時預處理 32 個線程
- 1 小時 32 個線程
- 1 小時 16 個線程
- 1 小時 8 個線程
- 1 小時 4 個線程
- 1 小時 2 個線程

對於 Sysbench OLTP，我們查看每個的 8VM 配置。 AF 略微名列前茅，以 4,273 TPS 超越混合動力車，達到 4,259 TPS。 DR 配置得分為 3,625 TPS。

查看平均延遲，看到 AF 並沒有明顯高於混合延遲，分別為 60.1 毫秒和 60.3 毫秒，這有點令人驚訝。 DR 得分更高，延遲為 71 毫秒。

平均第 99 個百分位數的延遲再次顯示 AF 與混合的延遲略有減少，分別為 126 毫秒到 131 毫秒。 DR 的延遲要高得多，為 212 毫秒。

VMmark 性能分析

與我們所有的應用程序性能分析一樣，我們試圖展示產品在實際生產環境中的性能與公司的性能聲明相比如何。我們了解評估存儲作為大型系統組件的重要性，最重要的是存儲在與關鍵企業應用程序交互時的響應速度。在這個測試中我們使用 VMware 的 VMmark 虛擬化基準測試在多服務器環境中。

VMmark 的設計本身就是一個高度資源密集型基準測試，它廣泛地混合了基於 VM 的應用程序工作負載，強調存儲、網絡和計算活動。在測試虛擬化性能時，幾乎沒有更好的基準測試了，因為 VMmark 考慮了很多方面，包括存儲 I/O、CPU，甚至 VMware 環境中的網絡性能。

在這裡，我們通過數據縮減 VSAN 配置了解 VMmark 整體和應用程序性能在混合和全閃存方面的突破。

VSAN 具有 18 個磁貼並啟用了壓縮和重複數據刪除功能，是我們迄今為止測試過的具有數據縮減功能的最高性能存儲系統。在過去的基準測試中，我們在全閃存陣列前使用專用的重複數據刪除設備達到了 8 個區塊的最高水平。

在此 18-tile 全閃存 VSAN 運行期間查看其中一台主機上的 CPU 資源，系統的 CPU 使用率浮動在 80-85% 左右。因此，雖然存儲方面無法提高，但集群仍有一些剩餘資源。

HCIbench 測試配置

16 台虛擬機
每個虛擬機 10 個 VMDK
- 10GB VMDK（1.6TB 佔用空間）
- 50GB VMDK（8TB 佔用空間）
- 100GB VMDK（16TB 佔用空間）
全寫存儲初始化
1.5 小時測試間隔（30 分鐘預處理，60 分鐘測試採樣期）

為了測試 VMware VSAN 的混合和 AF DR 配置，我們為工作負載配置文件部署了兩種不同的配置。其中包括 1.6TB（混合型完全緩存）、800GB（AF DR 完全緩存）和 16TB（緩存外溢出）足跡，以顯示平台如何響應熱數據增長。這些大小可以針對每個平台進行調整，具體取決於為緩存或分層配置的閃存量。

StorageReview 的 HCIbench 工作負載配置文件

第一個 HCIbench 測試著眼於具有完全隨機 4K 工作負載配置文件的 VMware VSAN 平台的峰值隨機吞吐量。將數據移至緩存中進行充分預熱後，混合為我們提供了 888MB/s 的讀取速度和 249MB/s 的寫入速度以及 1.6TB 的緩存佔用空間。 AF DR 具有 800GB 的高速緩存佔用空間，為我們提供了 1,414MB/s 的讀取速度和 160MB/s 的寫入速度。對於高達 16TB 的數據集（溢出到緩存之外），混合為我們提供了 26MB/s 的讀取速度和 56MB/s 的寫入速度，而 AF DR 的讀取速度為 423MB/s 和寫入速度為 151MB/s，這不足為奇。

接下來我們查看相同 4k 配置文件中的峰值 I/O，在這裡我們看到了類似的結果。緩存中的 1.6TB 數據集混合顯示 227,342 IOPS 讀取和 63,868 IOPS 寫入結果，而緩存中 AF DR 的 800GB 數據集具有 361,923 IOPS 讀取和 41,031 IOPS 寫入結果。 16TB 數據集的混合為我們提供了 6,747 IOPS 讀取和 14,404 IOPS 寫入，而 AF DR 具有 108,365 IOPS 讀取和 38,778 IOPS 寫入。

下一個指標著眼於完全隨機的 4K 工作負載配置文件的平均延遲。混合的緩存內 1.6TB 佔用空間具有 1 毫秒的讀取延遲和 4 毫秒的寫入延遲。 AF DR 的 800GB 緩存佔用空間具有 0.88 毫秒的讀取延遲和 8.29 毫秒的寫入延遲。隨著 16TB 數據集溢出緩存，結果顯然會有更大的差異，因為混合將溢出到始終具有更高延遲的 10K 旋轉磁盤，而 AF DR 保留在閃存驅動器上。在這裡，混合為我們提供了 47 毫秒的讀取延遲和 23 毫秒的寫入延遲，而 AF DR 為我們提供了 1.65 毫秒的讀取延遲和 4.66 毫秒的寫入延遲。

我們的下一個測試著眼於更大的 8K 數據配置文件，其中混合了 70% 的讀取和 30% 的寫入活動。此處混合緩存（佔用空間為 1.6TB）達到 947.9MB/s。緩存中的 AF DR（具有 800GB）的性能為 631.5MB/s。隨著更大的 16TB 數據集溢出緩存，混合動力的性能下降到 67MB/s，而 AF DR 下降到 530MB/s。

接下來我們看看相同 8k 70/30 工作負載的 I/O 性能。混合 1.6TB 佔用空間記錄了 121,329 IOPS，而 AF DR 記錄了 80,834 IOPS。一旦 16TB 數據集溢出緩存，兩種配置的性能都會下降，混合配置現在記錄 8,584 IOPS，AF DR 記錄 67,882 IOPS。

查看 8k 70/30 平均延遲，我們看到了與上述類似的位置。在緩存中，混合模式的延遲為 2 毫秒，而 AF DR 的延遲為 3.94 毫秒。隨著大型數據集從緩存中溢出，混合動力系統躍升至 37 毫秒，而 AF DR 實際上下降至 2.63 毫秒。

最後一個工作負載切換到峰值帶寬焦點，由 32K 順序讀寫配置文件組成。混合的緩存內性能顯示 2,699MB/s 讀取和 1,193MB/s，AF DR 的緩存內性能顯示 1,971MB/s 讀取和 1,353MB/s 寫入。對於更大的 16TB 數據集，我們看到 2,490MB/s 的讀取速度和 1,082MB/s 的寫入速度以及 AF DR 的 975MB/s 讀取速度和 495MB/s 的寫入速度。

I/O 性能顯示出相似的結果，混合動力提供的性能大多優於 AF DR。在緩存中，混合性能為 86,379 IOPS 讀取和 38,184 IOPS 寫入，而 AF DR 具有 63,068 IOPS 讀取和 43,302 IOPS 寫入性能。隨著更大的數據集脫離緩存，我們看到混合有 79,703 IOPS 讀取和 34,611 IOPS 寫入，而 AF DR 有 31,205 IOPS 讀取和 15,830 IOPS 寫入。

對於平均延遲，混合為我們提供了 3 毫秒的讀取和 8 毫秒的緩存寫入以及 4 毫秒的讀取和 9 毫秒的寫入溢出緩存。另一方面，AF DR 在緩存中為我們提供了 5.29 毫秒的讀取時間和 7.46 毫秒的寫入時間以及溢出緩存的 5.78 毫秒和 11.47 毫秒的寫入時間。

結論

VMware VSAN 6.2 讓組織有機會以激動人心的新方式利用閃存，從而提高效率和性能。新版本的亮點包括擦除編碼、RAID5 支持、重複數據刪除和壓縮，從容量的角度來看，所有這些顯然都有助於充分利用閃存。雖然數據減少的好處會因工作負載和配置而異，但預計容量增加 3-6 倍是合理的。這基本上意味著相對實惠的 1TB 驅動器能夠有效地提供 3-6TB 的容量。僅此一項優勢就使 6.2 成為值得升級的產品，並使閃存成為出類拔萃的好地方。

在談到性能時，全閃存配置需要一些細微差別才能正確解釋。與我們之前測試的混合配置相比，VSAN 6.2 並沒有提供指數級的收益。這有幾個根本原因。首先，VSAN 是每個磁盤組的單線程，這限制了它盡可能有效地利用所有閃存驅動器的能力。這是一個設計決策，因為 VMware 的重點是最大限度地減少系統級別的 VSAN 開銷；這可能是 VMware 在未來版本中選擇重新平衡的領域。其次，當我們啟用數據縮減功能時，我們發現全閃存配置的性能低於混合配置。從表面上看，這可能看起來像是一個問題，但對於任何有數據縮減經驗的人來說，在我們所見過的每種情況下都會出現巨大的性能損失。很多時候，我們已經看到競爭性 HCI 解決方案的開銷高達 80%。這個背景很重要；因為啟用了數據縮減的 VSAN 全閃存實際上在這方面做得非常好，與我們較舊的混合配置能夠達到的 18-tile VMmark 分數相匹配。此外，VMware 表示大多數購買全閃存配置的客戶都在啟用數據縮減功能的情況下運行，這使得 VSAN 效率非常重要。

目前，數據縮減是一個全有或全無的設置，它適用於整個數據存儲； VMware 這樣做是為了最大限度地提高重複數據刪除效率。容量的擴展抵消了數據減少對服務器資源的衝擊，這是本案例中的一個關鍵賣點。在我們的四節點、每台服務器 24 個驅動器配置（這對於 VSAN 很常見）中，這意味著可以使用更小/更少的 SSD 來匹配或超過 HDD 容量。當然，這還不包括 SSD 提供的所有其他優勢，例如更低的功耗、更少的冷卻需求或更寬的運行容差。

為了進行測試，我們運行了各種應用程序測試，包括我們的 MySQL 和 Microsoft SQL Server OLTP 性能，以及 VMware 和 HCIbench 的 VMmark 虛擬化基準測試。對於 SQL Server，全閃存版本表現最佳，總得分為 12,472.8 TPS。帶數據縮減 (AF DR) 的全閃存 (AF) 也表現出色，總得分為 11,969.1 TPS。在 SQL Server 延遲方面，AF VSAN 的總體延遲最低，總得分為 53 毫秒，比混合版本低大約 30%。不出所料，AF DR VSAN 的延遲要高得多，總延遲為 261 毫秒。通過我們的 SysBench 測試，值得注意的是，AF 的性能僅比混合版本好一點點（4,273 至 4,259 TPS，縮放平均延遲為 60.1 毫秒至 60.3 毫秒，最壞情況下的延遲為 126 毫秒至 131 毫秒）。啟用數據縮減後，AF DR VSAN 的性能有所下降，但每秒縮放事務數仍為 3,625，縮放平均延遲為 71 毫秒，最壞情況延遲為 212 毫秒。

借助 VMmark 和啟用數據縮減的 AF DR VSAN 能夠達到 18 個圖塊（之前最好的數據縮減系統只能達到 8 個圖塊）。這使得 AF DR VSAN 在我們的 VMmark 測試中成為數據縮減性能最高的存儲陣列。我們查看的最終測試是 HCIbench，雖然它沒有顯示系統的最大功能，但為我們提供了一個很好的指標來比較 AF DR VSAN 與混合 VSAN。在我們的 4k HCIbench 測試中，AF DR VSAN 在緩存內和溢出緩存測試中均優於混合版本，尤其是在讀取方面。 AF DR 能夠達到高達 4MB/s 的 1,1414k 讀取數、361,923 IOPS 和 0.9ms 的平均延遲。查看我們的 8k 70/30 測試，混合在緩存中表現更好，而 AF DR 在溢出緩存後表現得更好。在我們的 32k 順序測試中，混合 VSAN 在緩存內外的表現都優於 AF DR VSAN。

在本次審核中，我們對初始混合 VSAN 配置與全閃存部署進行了大量比較。這種混合動力車在最初的測試中表現良好，即使在今天仍然顯示出實力。如果混合配置中的緩存層相同，並且所有閃存配置和工作集都保留在緩存中，則兩者的性能將相對接近。然而，除了閃存提供的總體優勢之外，全閃存配置還受益於 6.2 中的所有新功能。此外，SSD 的降價壓力與數據減少相結合，甚至可能使全閃存 VSAN 每 TB 的成本效益高於混合。

優點