在今年的开放计算项目上，东芝宣布发布其围绕 NVMe over Fabrics (NVMe-oF) 的新软件 KumoScale。 KumoScale 旨在通过分解、抽象和管理集成，最大限度地发挥直连 NVMe 驱动器在数据中心网络上的性能优势。 该软件通过允许无盘计算节点（只有引导驱动器）通过高速结构网络连接访问此闪存存储，从而带来了已经高性能的 NVMe SSD。 这种类型的连接将使网络存储达到接近峰值的性能。
在今年的开放计算项目上，东芝宣布发布其围绕 NVMe over Fabrics (NVMe-oF) 的新软件 KumoScale。 KumoScale 旨在通过分解、抽象和管理集成，最大限度地发挥直连 NVMe 驱动器在数据中心网络上的性能优势。 该软件通过允许无盘计算节点（只有引导驱动器）通过高速结构网络连接访问此闪存存储，从而带来了已经高性能的 NVMe SSD。 这种类型的连接将使网络存储达到接近峰值的性能。
虽然此软件可用于任何标准 x86 系统平台，但在我们的评测中，我们使用的是 Newisys NSS-1160G-2N 双节点服务器。 Newisys NSS-1160G-2N 平台针对超大规模服务模型进行了优化，具有 NVMe 驱动器热插拔、网络到驱动器的平衡吞吐量、基于冷通道 FRU 的服务、冗余电源和冷却以及其他关键规模-出数据中心的要求。 我们的服务器在一个节点上通过两个 100G Mellanox 卡和 8 个东芝 NVMe SSD 提供存储，第二个节点用于管理目的。 负载生成将来自通过双 740G Mellanox ConnectX-100 NIC 直接连接到 Newisys 的单个 Dell PowerEdge R5xd。 Newisys 可以在其紧凑的 16U 外形中容纳多达 1 个 NVMe 和双至强服务器主板，并针对直接连接驱动器的最低延迟和最高性能进行了优化，尽管服务器比我们在机架中使用的要长一些.
与传统的直连 SSD 相比，KumoScale 还具有其他一些优势。 利用 NVMe-oF 用户需要更少的节点来达到更高的计算能力和存储。 拥有更少的节点意味着可以更好地管理它们并降低成本。 部分成本降低将通过消除搁浅的存储和计算能力来实现。 KumoScale 使用 restful API 与多个编排框架集成； 最有趣的是，它适用于 Kubernetes。 这将使那些利用 Kubernetes 进行容器存储的人能够以更高的性能执行此操作，并提供适量的预配置存储。 除了 Kubernetes 之外，KumoScale 还可以与 OpenStack、Lenovo XClarity 和 Intel RSD 配合使用。
KumoScale 有点突出，它带有一个相当精简和直观的 GUI。 通常，这种类型的解决方案是通过 CLI 控制的（事实上，有几个方面仍然如此）。 在仪表板选项卡上，用户可以轻松查看存储性能、系统容量和硬件状态，并可以深入了解单个 SSD 的状态。
下一个选项卡是网络选项卡，显示控制器的可用性和链路状态，以及类型、速度、MAC 地址和 MTU。
存储选项卡分为四个子选项卡。 第一个子选项卡是物理 SSD。 在这里，用户可以通过名称、是否可用、序列号、容量、组使用情况和剩余寿命百分比来查看驱动器。
虚拟化存储组中的下一个子选项卡。 此子选项卡与上面的类似，包含名称、可用性、容量以及可用空间、虚拟化的物理 SSD 及其目标。
下一个子选项卡 Targets 扩展了上面的目标并显示了暴露给主机的虚拟化存储，包括组卷。
存储下的最后一个子选项卡是启动器选项卡。 此选项卡提供启动器名称、别名（在本例中为 Dell）和访问计数。 用户可以为目标-启动器对授予访问控制 (ACL)。
下一个主要选项卡是存储性能。 在这里，用户可以看到给定时间范围内的吞吐量、IOPS 和延迟的读数。
最后，我们谈到网络性能，这也为用户提供了给定时间的性能指标、带宽和数据包的细分。
性能
VDBench 工作负载分析
在对存储阵列进行基准测试时，应用程序测试是最好的，综合测试排在第二位。 虽然不能完美代表实际工作负载，但综合测试确实有助于为具有可重复性因素的存储设备建立基线，从而可以轻松地在竞争解决方案之间进行同类比较。 这些工作负载提供了一系列不同的测试配置文件，包括“四个角”测试、常见的数据库传输大小测试，以及来自不同 VDI 环境的跟踪捕获。 所有这些测试都利用通用的 vdBench 工作负载生成器，以及一个脚本引擎来自动化和捕获大型计算测试集群的结果。 这使我们能够在各种存储设备上重复相同的工作负载，包括闪存阵列和单个存储设备。 在阵列端，我们使用 Dell PowerEdge R740xd 服务器集群：
简介：
- 4K 随机读取：100% 读取，128 个线程，0-120% 重复率
- 4K 随机写入：100% 写入，64 线程，0-120% iorate
- 64K 顺序读取：100% 读取，16 线程，0-120% 迭代
- 64K 顺序写入：100% 写入，8 个线程，0-120% 迭代
- 综合数据库：SQL 和 Oracle
- VDI 完整克隆和链接克隆跟踪
在 4K 峰值读取性能中，带有 KumoScale 的 Newisys（在本次评测的其余部分中称为“存储节点”，因为它是唯一被观察的设备）在整个测试过程中具有亚毫秒级性能，峰值为 2,981,084 IOPS，具有260μs的延迟。
在4K峰值写入性能中，存储节点峰值为1,926,637 IOPS，延迟为226μs。
切换到 64K 峰值读取时，存储节点的峰值性能为 213,765 IOPS 或 13.36GB/s，延迟为 441μs。
对于 64K 顺序峰值写入，存储节点达到 141,454 IOPS 或 8.83GB/s，延迟为 432μs。
在我们的 SQL 工作负载中，存储节点的峰值为 1,361,815 IOPS，延迟为 179μs。
在 SQL 90-10 基准测试中，我们看到了 1,171,467 IOPS 的峰值性能，延迟仅为 210 微秒。
SQL 80-20 基准测试显示存储节点达到 987,015 IOPS 的峰值性能，延迟为 248μs。
使用 Oracle Workload，存储节点的峰值性能为 883,894 IOPS，延迟为 280μs。
Oracle 90-10 的峰值性能为 967,507 IOPS，延迟为 176 微秒。
在 Oracle 80-20 中，存储节点能够以 829,765 微秒的延迟达到 204 IOPS。
接下来我们切换到我们的 VDI 克隆测试，完整和链接。 对于 VDI Full Clone Boot，存储节点的峰值为 889,591 IOPS，延迟为 261μs。
VDI 完整克隆初始登录看到存储节点达到 402,840 IOPS 的峰值，延迟为 562μs。
VDI 完整克隆星期一登录显示峰值性能为 331,351 IOPS，延迟为 369μs。
转到 VDI 链接克隆，启动测试显示峰值性能为 488,484 IOPS，延迟为 234μs。
在测量初始登录性能的链接克隆 VDI 配置文件中，存储节点的峰值为 194,781 IOPS，延迟为 318μs。
在我们的最后一个配置文件中，我们查看了 VDI 链接克隆星期一登录性能。 此处存储节点的峰值为 247,806 IOPS，延迟为 498μs。
结语
KumoScale 软件旨在最大限度地提高块存储的性能，将 NVMe SSD 汇集在一起，以提供适量的容量和 IOPS，这些容量和 IOPS 可以由 NVMe-oF 上的数千个作业实例共享。 这为云用户提供了更大的灵活性、可扩展性和效率。 虽然 KumoScale 可用于多种不同的硬件选项来创建存储节点（东芝推荐 Intel Xeon CPU E5-2690 v4 @2.30GHz 或同等性能和 64GB DRAM），但我们使用了 Newisys NSS-1160G-2N 双节点服务器。 NVMe-oF 不仅能让存储达到接近峰值的性能，KumoScale 还可以与多种编排框架配合使用，包括 Kubernetes、OpenStack、Lenovo XClarity 和 Intel RSD。
搭载东芝KumoScale的Newisys系统当然可以带来性能方面的风头。 存储节点没有接近突破 1ms，VDI FC 初始登录时的最高延迟为 562μs。 一些亮点包括 3K 读取接近 4 万次 IOPS，2K 写入接近 4 万次，SQL 工作负载达到 1.3 万次 IOPS，SQL 1.1-90 达到 10 万次 IOPS，SQL 1-80 接近 20 万次。 对于 64K 顺序性能，存储节点达到 13.36GB.s 读取和 8.83GB/s 写入。
毫无疑问，性能是天文数字，但将 KumoScale 放在上下文中确实让它大放异彩。 与其他非 NVMe-oF 平台相比，该平台的延迟和性能要好得多。 延迟更接近本地存储性能，这正是 NVMe-oF 协议所追求的，也是这些系统定位的应用程序所需要的。 不过，该系统的大规模性能才是真正重要的。 我们查看了一个存储节点中 8 个 SSD 的性能，其中生产系统将有多个存储节点，每个节点都有自己的存储池。 在该预期场景中的性能可轻松将传统存储阵列指标打败，使 KumoScale 成为 NVMe-oF 阵列的游戏规则改变者。 Toshiba 在使用 KumoScale 提供性能效率方面做得非常出色，它甚至有一个用于评估和开发的 GUI。 搭配 Newisys 机箱，该解决方案肯定会在大型数据中心取得成功，这些数据中心可以利用 Toshiba KumoScale 软件提供的吞吐量和延迟优势。
