去年我们发表了一篇 VSAN 6.0 的详细系列评论 在混合配置中。 今年XNUMX月， VMware 推出 VSAN 6.2，它通过重复数据删除和压缩以及许多其他功能为市场带来了数据减少。 数据缩减是 VSAN 向前迈出的重要一步，因为它搭载了闪存采用的大规模激增，这在很大程度上要归功于价格下降和高质量的选择。 当在全闪存配置中启用 VSAN 时，利用数据减少的用户可以根据工作负载有效地将容量增加三倍（或更多），这真正为从 ROBO 到企业的每个人带来了闪存的价值。
去年我们发表了一篇 VSAN 6.0 的详细系列评论 在混合配置中。 今年XNUMX月， VMware 推出 VSAN 6.2，它通过重复数据删除和压缩以及许多其他功能为市场带来了数据减少。 数据缩减是 VSAN 向前迈出的重要一步，因为它搭载了闪存采用的大规模激增，这在很大程度上要归功于价格下降和高质量的选择。 当在全闪存配置中启用 VSAN 时，利用数据减少的用户可以根据工作负载有效地将容量增加三倍（或更多），这真正为从 ROBO 到企业的每个人带来了闪存的价值。
在我们继续审查 VSAN 时，我们利用了在之前的混合审查中使用的相同 Dell PowerEdge R730xd 集群。 我们对平台进行了更新，包括 BIOS、固件和 ESXi，以使其与 VSAN 6.2 兼容。 不过，最大的变化之一是用东芝提供的全新全闪存配置替换我们现有的 HDD 和 SSD。 通过利用市场上一些最快的 SAS3 SSD，我们能够将所有注意力放在 VSAN 本身上，而不会受到硬件的阻碍。
Dell PowerEdge R730xd VMware 全闪存 VSAN 规格
- Dell PowerEdge R730xd 服务器 (x4)
- CPU：八个 Intel Xeon E5-2697 v3 2.6GHz (14C/28T)
- 内存：64 x 16GB DDR4 RDIMM
- SSD：
- 缓存：16 x 400GB Toshiba PX04 写入密集型 SAS3
- 容量：80 x 960GB Toshiba PX04 读取密集型 SAS3
- 网络：4 x Intel X520 DP 10Gb DA/SFP+，+ I350 DP 1Gb 以太网
- 存储容量：69.86TB
用于本次审查的东芝驱动器是 东芝 PX04S 型号. 在我们之前的评测中，我们发现 PX04S 型号是迄今为止我们测试过的最快的 SAS 企业级 SSD。 PX04S 也是评测时容量最大的双端口 SAS SSD。 PX04S 系列有多个耐力级别，从高耐力到低耐力，还有中等和超值耐力型号。 对于本次审查，我们在 Dell PowerEdge R730xd 上安装了 400 个 04GB 写入密集型 (PX040SHB960) 和 04 个 096GB 超值耐用型 (PX25SVB3) 驱动器。 写入密集型驱动器拥有高达 02DWPD，价值耐用型驱动器高达 800DWPD。 相比之下，在具有相同服务器的混合配置中，缓存层由每个主机的四个东芝 PXXNUMX XNUMXGB SSD 组成，缓存层容量增加一倍。
PX04SHB040 400GB 写密集型硬盘规格：
- 性能
- 持续 64KiB 顺序读取：1,900MiB/s
- 持续 64KiB 顺序写入：850MiB/s
- 持续 4KiB 随机读取：270K IOPS
- 持续 4KiB 随机写入：125K IOPS
- 每日工作日：25
PX04SVB096 960GB超值耐用硬盘规格：
- 性能
- 持续 64KiB 顺序读取：1,900MiB/s
- 持续 64KiB 顺序写入：850MiB/s
- 持续 4KiB 随机读取：270K IOPS
- 持续 4KiB 随机写入：60K IOPS
- 每日工作日：3
应用程序工作负载分析
对于这次审查，我们使用所有 Toshiba PX730 SAS04 SSD 重新填充了 Dell PowerEdge R3xd VMware VSAN。 第一个基准包括 通过 SysBench 的 MySQL OLTP 性能 和 Microsoft SQL Server OLTP 性能 具有模拟的 TPC-C 工作负载。
每个 SQL Server VM 都配置有两个虚拟磁盘，一个 100GB 用于引导，另一个 500GB 用于数据库和日志文件。 从系统资源的角度来看，我们为每个虚拟机配置了 16 个 vCPU、64GB DRAM 并利用了 LSI Logic SAS SCSI 控制器。 这些测试旨在监控对延迟敏感的应用程序如何在具有适度但不过分的计算和存储负载的集群上执行。
SQL Server 测试配置（每个虚拟机）
- Windows服务器2012 R2的
- 存储空间：分配 600GB，使用 500GB
- SQL Server的2014的
- 数据库大小：1,500 规模
- 虚拟客户端负载：15,000
- 内存缓冲区：48GB
- 测试时长：3 小时
- 2.5 小时预处理
- 30分钟采样期
在超融合平台上的 SQL Server TPC-C 测试中，我们研究了混合模式、全闪存 (AF) 模式和全闪存数据缩减 (AF DR) 下整个集群的工作负载平衡。 AF 版本的性能略高于混合版本，单个 VM 的运行速度从 3,112.4 TPS 到 3,130.4 TPS，总得分为 12,472.8 TPS，是总体得分最高的。 DR 配置处于测试配置的低端，单个 VM 的运行速度从 2,982.1 TPS 到 3,009.6 TPS，总得分为 11,969.1 TPS。
对于SQL Server TPC-C测试，我们最关注的变量是平均延迟。 交易性能中的小差距不会显示完整的故事。 在我们的平均延迟测试中，我们看到 AF 版本的最高得分为 64 毫秒，与混合版的最差得分相同。 AF 的平均得分也为 53 毫秒。 DR 配置再次垫底，最低为 236 毫秒，最高为 278 毫秒，平均为 261 毫秒。
系统性能
每个 Sysbench VM 配置了三个虚拟磁盘：一个用于引导 (~92GB)，一个用于预构建数据库 (~447GB)，第三个用于测试中的数据库 (400GB)。 从系统资源的角度来看，我们为每个虚拟机配置了 16 个 vCPU、64GB DRAM 并利用了 LSI Logic SAS SCSI 控制器。
Sysbench 测试配置（每个虚拟机）
- CentOS 6.3 64 位
- 存储空间：1TB，已使用 800GB
- Percona XtraDB 5.5.30-rel30.1
- 数据库表：100
- 数据库大小：10,000,000
- 数据库线程：32
- 内存缓冲区：24GB
- 测试时长：12 小时
- 6 小时预处理 32 个线程
- 1 小时 32 个线程
- 1 小时 16 个线程
- 1 小时 8 个线程
- 1 小时 4 个线程
- 1 小时 2 个线程
对于 Sysbench OLTP，我们查看每个的 8VM 配置。 AF 略微名列前茅，以 4,273 TPS 超越混合动力车，达到 4,259 TPS。 DR 配置得分为 3,625 TPS。
查看平均延迟，看到 AF 并没有明显高于混合延迟，分别为 60.1 毫秒和 60.3 毫秒，这有点令人惊讶。 DR 得分更高，延迟为 71 毫秒。
平均第 99 个百分位数的延迟再次显示 AF 与混合的延迟略有减少，分别为 126 毫秒到 131 毫秒。 DR 的延迟要高得多，为 212 毫秒。
VMmark 性能分析
与我们所有的应用程序性能分析一样，我们试图展示产品在实际生产环境中的性能与公司的性能声明相比如何。 我们了解评估存储作为大型系统组件的重要性，最重要的是存储在与关键企业应用程序交互时的响应速度。 在这个测试中我们使用 VMware 的 VMmark 虚拟化基准测试 在多服务器环境中。
VMmark 的设计本身就是一个高度资源密集型基准测试，它广泛地混合了基于 VM 的应用程序工作负载，强调存储、网络和计算活动。 在测试虚拟化性能时，几乎没有更好的基准测试了，因为 VMmark 考虑了很多方面，包括存储 I/O、CPU，甚至 VMware 环境中的网络性能。
在这里，我们通过数据缩减 VSAN 配置了解 VMmark 整体和应用程序性能在混合和全闪存方面的突破。
VSAN 具有 18 个磁贴并启用了压缩和重复数据删除功能，是我们迄今为止测试过的具有数据缩减功能的最高性能存储系统。 在过去的基准测试中，我们在全闪存阵列前使用专用的重复数据删除设备达到了 8 个区块的最高水平。
在此 18-tile 全闪存 VSAN 运行期间查看其中一台主机上的 CPU 资源，系统的 CPU 使用率浮动在 80-85% 左右。 因此，虽然存储方面无法提高，但集群仍有一些剩余资源。
HCIbench 测试配置
- 16 台虚拟机
- 每个虚拟机 10 个 VMDK
- 10GB VMDK（1.6TB 占用空间）
- 50GB VMDK（8TB 占用空间）
- 100GB VMDK（16TB 占用空间）
- 全写存储初始化
- 1.5 小时测试间隔（30 分钟预处理，60 分钟测试采样期）
为了测试 VMware VSAN 的混合和 AF DR 配置，我们为工作负载配置文件部署了两种不同的配置。 其中包括 1.6TB（混合型完全缓存）、800GB（AF DR 完全缓存）和 16TB（缓存外溢出）足迹，以显示平台如何响应热数据增长。 这些大小可以针对每个平台进行调整，具体取决于为缓存或分层配置的闪存量。
StorageReview 的 HCIbench 工作负载配置文件
第一个 HCIbench 测试着眼于具有完全随机 4K 工作负载配置文件的 VMware VSAN 平台的峰值随机吞吐量。 将数据移至缓存中进行充分预热后，混合为我们提供了 888MB/s 的读取速度和 249MB/s 的写入速度以及 1.6TB 的缓存占用空间。 AF DR 具有 800GB 的高速缓存占用空间，为我们提供了 1,414MB/s 的读取速度和 160MB/s 的写入速度。 对于高达 16TB 的数据集（溢出到缓存之外），混合为我们提供了 26MB/s 的读取速度和 56MB/s 的写入速度，而 AF DR 的读取速度为 423MB/s 和写入速度为 151MB/s，这不足为奇。
接下来我们查看相同 4k 配置文件中的峰值 I/O，我们在这里看到了类似的结果。 缓存中的 1.6TB 数据集混合显示 227,342 IOPS 读取和 63,868 IOPS 写入结果，而缓存中 AF DR 的 800GB 数据集具有 361,923 IOPS 读取和 41,031 IOPS 写入结果。 16TB 数据集的混合为我们提供了 6,747 IOPS 读取和 14,404 IOPS 写入，而 AF DR 具有 108,365 IOPS 读取和 38,778 IOPS 写入。
下一个指标着眼于完全随机的 4K 工作负载配置文件的平均延迟。 混合的缓存内 1.6TB 占用空间具有 1 毫秒的读取延迟和 4 毫秒的写入延迟。 AF DR 的 800GB 缓存占用空间具有 0.88 毫秒的读取延迟和 8.29 毫秒的写入延迟。 随着 16TB 数据集溢出缓存，结果显然会有更大的差异，因为混合将溢出到始终具有更高延迟的 10K 旋转磁盘，而 AF DR 保留在闪存驱动器上。 在这里，混合为我们提供了 47 毫秒的读取延迟和 23 毫秒的写入延迟，而 AF DR 为我们提供了 1.65 毫秒的读取延迟和 4.66 毫秒的写入延迟。
我们的下一个测试着眼于更大的 8K 数据配置文件，其中混合了 70% 的读取和 30% 的写入活动。 此处混合缓存（占用空间为 1.6TB）达到 947.9MB/s。 缓存中的 AF DR（具有 800GB）的性能为 631.5MB/s。 随着更大的 16TB 数据集溢出缓存，混合动力的性能下降到 67MB/s，而 AF DR 下降到 530MB/s。
接下来我们看看相同 8k 70/30 工作负载的 I/O 性能。 混合 1.6TB 占用空间记录了 121,329 IOPS，而 AF DR 记录了 80,834 IOPS。 一旦 16TB 数据集溢出缓存，两种配置的性能都会下降，混合配置现在记录 8,584 IOPS，AF DR 记录 67,882 IOPS。
查看 8k 70/30 平均延迟，我们看到了与上述类似的位置。 在缓存中，混合模式的延迟为 2 毫秒，而 AF DR 的延迟为 3.94 毫秒。 随着大型数据集从缓存中溢出，混合动力系统跃升至 37 毫秒，而 AF DR 实际上下降至 2.63 毫秒。
最后一个工作负载切换到峰值带宽焦点，由 32K 顺序读写配置文件组成。 混合的缓存内性能显示 2,699MB/s 读取和 1,193MB/s，AF DR 的缓存内性能显示 1,971MB/s 读取和 1,353MB/s 写入。 对于更大的 16TB 数据集，我们看到 2,490MB/s 的读取速度和 1,082MB/s 的写入速度以及 AF DR 的 975MB/s 读取速度和 495MB/s 的写入速度。
I/O 性能显示出相似的结果，混合动力提供的性能大多优于 AF DR。 在缓存中，混合性能为 86,379 IOPS 读取和 38,184 IOPS 写入，而 AF DR 具有 63,068 IOPS 读取和 43,302 IOPS 写入性能。 随着更大的数据集脱离缓存，我们看到混合有 79,703 IOPS 读取和 34,611 IOPS 写入，而 AF DR 有 31,205 IOPS 读取和 15,830 IOPS 写入。
对于平均延迟，混合为我们提供了 3 毫秒的读取和 8 毫秒的缓存写入以及 4 毫秒的读取和 9 毫秒的写入溢出缓存。 另一方面，AF DR 在缓存中为我们提供了 5.29 毫秒的读取时间和 7.46 毫秒的写入时间以及溢出缓存的 5.78 毫秒和 11.47 毫秒的写入时间。
总结
VMware VSAN 6.2 让组织有机会以激动人心的新方式利用闪存，从而提高效率和性能。 新版本的亮点包括擦除编码、RAID5 支持、重复数据删除和压缩，从容量的角度来看，所有这些显然都有助于充分利用闪存。 虽然数据减少的好处会因工作负载和配置而异，但预计容量增加 3-6 倍是合理的。 这基本上意味着相对实惠的 1TB 驱动器能够有效地提供 3-6TB 的容量。 仅此一项优势就使 6.2 成为值得升级的产品，并使闪存成为出类拔萃的好地方。
在谈到性能时，全闪存配置需要一些细微差别才能正确解释。 与我们之前测试的混合配置相比，VSAN 6.2 并没有提供指数级的收益。 这有几个根本原因。 首先，VSAN 是每个磁盘组的单线程，这限制了它尽可能有效地利用所有闪存驱动器的能力。 这是一个设计决策，因为 VMware 的重点是最大限度地减少系统级别的 VSAN 开销； 这可能是 VMware 在未来版本中选择重新平衡的领域。 其次，当我们启用数据缩减功能时，我们发现全闪存配置的性能低于混合配置。 从表面上看，这可能看起来像是一个问题，但对于任何有数据缩减经验的人来说，在我们所见过的每种情况下都会出现巨大的性能损失。 很多时候，我们已经看到竞争性 HCI 解决方案的开销高达 80%。 这个背景很重要； 因为启用了数据缩减的 VSAN 全闪存实际上在这方面做得非常好，与我们较旧的混合配置能够达到的 18-tile VMmark 分数相匹配。 此外，VMware 表示大多数购买全闪存配置的客户都在启用数据缩减功能的情况下运行，这使得 VSAN 效率非常重要。
目前，数据缩减是一个全有或全无的设置，它适用于整个数据存储； VMware 这样做是为了最大限度地提高重复数据删除效率。 容量的扩展抵消了数据减少对服务器资源的冲击，这是本案例中的一个关键卖点。 在我们的四节点、每台服务器 24 个驱动器配置（这对于 VSAN 很常见）中，这意味着可以使用更小/更少的 SSD 来匹配或超过 HDD 容量。 当然，这还不包括 SSD 提供的所有其他优势，例如更低的功耗、更少的冷却需求或更宽的运行容差。
为了进行测试，我们运行了各种应用程序测试，包括我们的 MySQL 和 Microsoft SQL Server OLTP 性能，以及 VMware 和 HCIbench 的 VMmark 虚拟化基准测试。 对于 SQL Server，全闪存版本表现最佳，总得分为 12,472.8 TPS。 带数据缩减 (AF DR) 的全闪存 (AF) 也表现出色，总得分为 11,969.1 TPS。 在 SQL Server 延迟方面，AF VSAN 的总体延迟最低，总得分为 53 毫秒，比混合版本低大约 30%。 不出所料，AF DR VSAN 的延迟要高得多，总延迟为 261 毫秒。 通过我们的 SysBench 测试，值得注意的是，AF 的性能仅比混合版本好一点点（4,273 至 4,259 TPS，缩放平均延迟为 60.1 毫秒至 60.3 毫秒，最坏情况下的延迟为 126 毫秒至 131 毫秒）。 启用数据缩减后，AF DR VSAN 的性能有所下降，但每秒缩放事务数仍为 3,625，缩放平均延迟为 71 毫秒，最坏情况延迟为 212 毫秒。
借助 VMmark 和启用数据缩减的 AF DR VSAN 能够达到 18 个图块（之前最好的数据缩减系统只能达到 8 个图块）。 这使得 AF DR VSAN 在我们的 VMmark 测试中成为数据缩减性能最高的存储阵列。 我们查看的最终测试是 HCIbench，虽然它没有显示系统的最大功能，但为我们提供了一个很好的指标来比较 AF DR VSAN 与混合 VSAN。 在我们的 4k HCIbench 测试中，AF DR VSAN 在缓存内和溢出缓存测试中均优于混合版本，尤其是在读取方面。 AF DR 能够达到高达 4MB/s 的 1,1414k 读取数、361,923 IOPS 和 0.9ms 的平均延迟。 查看我们的 8k 70/30 测试，混合在缓存中表现更好，而 AF DR 在溢出缓存后表现得更好。 在我们的 32k 顺序测试中，混合 VSAN 在缓存内外的表现都优于 AF DR VSAN。
在本次审核中，我们对初始混合 VSAN 配置与全闪存部署进行了大量比较。 这种混合动力车在最初的测试中表现良好，即使在今天仍然显示出实力。 如果混合配置中的缓存层相同，并且所有闪存配置和工作集都保留在缓存中，则两者的性能将相对接近。 然而，除了闪存提供的总体优势之外，全闪存配置还受益于 6.2 中的所有新功能。 此外，SSD 的降价压力与数据减少相结合，甚至可能使全闪存 VSAN 每 TB 的成本效益高于混合。
优点
- 我们迄今为止测试过的具有数据缩减功能的性能最强的平台
- VSAN 6.2 带来了一套利用闪存优势的新功能
- 非常容易设置； 便于虚拟化管理员管理
缺点
- VSAN 将缓存和容量层的驱动器分开； 闪存的单层架构可能很有价值
- VSAN 中的单线程磁盘组限制了上行性能潜力
底线
VMware VSAN 6.2 向平台添加了大量数据效率功能，使全闪存 VSAN 部署能够提供引人注目的功能、性能和容量组合，同时受益于闪存带来的所有外设优势。
