Virtual SAN (VSAN) 5.5 是 VMware 的首款软件定义数据中心产品， 上个月发布 并受到希望从传统计算服务器中获得更多收益的企业的欢迎。 VSAN 实质上让用户可以访问结合了计算和存储的冗余节点，同时分层到虚拟化环境中，该环境全部通过 VMware 的 vSphere 客户端进行管理。 根据 VMware 的内部基准测试，VSAN 具有在 2 节点集群中达到 32 万 IOPS 的能力。 VMware 是如何做到这一点的？他们用于实现这一壮举的配置的详细信息是什么？
Virtual SAN (VSAN) 5.5 是 VMware 的首款软件定义数据中心产品， 上个月发布 并受到希望从传统计算服务器中获得更多收益的企业的欢迎。 VSAN 实质上让用户可以访问结合了计算和存储的冗余节点，同时分层到虚拟化环境中，该环境全部通过 VMware 的 vSphere 客户端进行管理。 根据 VMware 的内部基准测试，VSAN 具有在 2 节点集群中达到 32 万 IOPS 的能力。 VMware 是如何做到这一点的？他们用于实现这一壮举的配置的详细信息是什么？
VMware 最近发布了他们的测试配置，该配置达到了惊人的 2 万 IOPS 数字。 当然，我们知道 IOPS 只是任何存储产品性能图的一部分，应用程序测试将更多地揭示 VSAN 在延迟和潜在吞吐量方面的能力，但当今的行业在很大程度上将 IOPS 理解为存储性能的衡量标准.
VMware 在两种情况下发布了 VSAN 性能结果； 1) 100% 读取工作负载和 2) 70% 读取、30% 写入工作负载。 开始时，每个主机使用一个 戴尔PowerEdge R720 双路 Intel Xeon CPU E5-2650 v2 @ 2.6GHz (Ivy Bridge)、128GB RAM、10GbE、LSI 9207-8i、1x 400GB Intel S3700 和 4x 1.1TB 10K RPM Hitachi SAS 驱动器和 3x 1.1 硬盘驱动器配置TB 10K RPM 希捷 SAS 驱动器。
VMware 在集群上使用 vSphere 5.5 U1 和 Virtual SAN 5.5，对 vSphere 中的默认设置进行了以下更改：
- 将 vSphere 网络堆栈的堆大小增加到 512MB。 “esxcli 系统设置高级设置 -o /Net/TcpipHeapMax -i 512”。 您可以使用“esxcli 系统设置高级列表 -o /Net/TcpipHeapmax”验证此设置
- 允许 VSAN 形成 32 台主机的集群。 “esxcli 系统设置高级设置 -o /adv/CMMDS/goto11 1”。
- 为 LSI 存储控制器安装了 Phase 18 LSI 驱动程序（mpt2sas 版本 18.00.00.00.1vmw）。
- 为“性能”配置的 BIOS 电源管理（系统配置文件设置）（例如，禁用所有节能功能）
要更详细地了解 ESXi 配置，请访问他们的 VMware 知识库页面
100% 读取基准设置
VMware 让每台主机在 VSAN 数据存储上运行一个 4-vcpu 32 位 Ubuntu 12.04 VM 和 8 个虚拟磁盘（vmdk 文件），磁盘分布在两个 PVSCSI 控制器上。 还使用了 pvscsi 的默认驱动程序（版本 1.0.2.0-k）。
为了更好地支持具有高未完成 IO 的大规模工作负载，VMware 将 pvscsi 的启动时间参数修改为“vmw_pvscsi.cmd_per_lun=254 vmw_pvscsi.ring_pages=32”。 参观 VMware 知识库 有关此配置的更多详细信息。 VMware 将基于存储策略的管理设置 HostFailuresToTolerate=0 应用于此基准测试的 vmdk。
在每个 VM 中运行具有 8 个工作线程的 IOMeter，每个线程都配置为在 8 GB 的单个 vmdk 上工作。 此外，每个线程运行 100% 读取、80% 随机工作负载，4096 字节 IO 与 4096 字节边界对齐，每个工作线程 16 个 OIO。 本质上，每台主机上的每台虚拟机都会发出以下消息：
- 跨 4096GB 工作集的 64 字节 IO 请求
- 100% 阅读，80% 随机
- 128 OIO/主机的聚合
VMware 运行了一个小时的配置，以 60 秒的时间间隔测量聚合客户机 IOPS。 这导致前所未有的 IOPS 中值达到 2,024,000。
70% 读取 30% 写入基准
在 70/30 IO 配置文件中，每台主机在 VSAN 数据存储上运行一个 4-vcpu 32 位 Ubuntu 12.04 虚拟机和 8 个虚拟磁盘（vmdk 文件）。 此外，磁盘分布在两个 PVSCSI 控制器上。 使用了pvscsi的默认驱动（1.0.2.0-k版本），同时修改了pvscsi的启动时间参数，提高了对high outstanding IO的支持能力：“vmw_pvscsi.cmd_per_lun=254 vmw_pvscsi.ring_pages=32”。
就像在 100% 读取配置中一样，VMware 在每个 VM 中运行 IOMeter 和 8 个工作线程，尽管每个线程都配置为在 4GB 的单个 vmdk 上工作。 每个线程运行 70% 读取、80% 随机工作负载，4096 字节 IO 与 4096 字节边界对齐，8 个 OIO。
本质上，每台主机上的每台虚拟机都会发出以下消息：
- 跨 4096GB 工作集的 32 字节 IO 请求
- 70% 阅读，80% 随机
- 64 OIO/主机的聚合
在 70/30 测试中，VMware 记录了 652,900 iops 的速度，平均延迟为 2.98ms，这段时间内的带宽为 3.2GB/s。
这意味着什么？
虽然还有更多基准测试有待完成，包括我们的 一套基准 包括 SQL Server 和 VMmark 之类的东西，很明显，从这些性能数据来看，尽管最大 32 节点集群，VSAN 从性能角度来看具有很大的潜力。 还值得注意的是，VMware 在背板上仅使用了 8 个托架，通过这种配置，他们可以有效地将存储量翻倍，为每个节点添加另一个 SSD 和 7 个 HDD。
VMware Virtual SAN 目前的售价为每处理器 2,495 美元，VMware Virtual SAN for Desktop 的售价为每位用户 50 美元。
