Mangstor NX 系列全闪存阵列 (AFA) 是一系列设备，旨在将 NVMe 的性能和低延迟优势带入共享存储环境。 共享存储当然不是新事物，但能够在共享环境中利用 NVMe 的优势却是新事物。 从概念上讲，NVMe over Fabrics 发挥了仅限于服务器内使用的同类最佳 SSD 的强大功能，并通过高速网络（以太网或 Infiniband）共享它们。 具体来说，Mangstor NX6320 使用具有 RDMA 网络访问的 NVMe over Fabrics，以便为延迟敏感型应用程序提供性能优势。 这种可扩展存储有多个用例，包括关键应用程序、数据库和 HPC。
Mangstor NX 系列全闪存阵列 (AFA) 是一系列设备，旨在将 NVMe 的性能和低延迟优势带入共享存储环境。 共享存储当然不是新事物，但能够在共享环境中利用 NVMe 的优势却是新事物。 从概念上讲，NVMe over Fabrics 发挥了仅限于服务器内使用的同类最佳 SSD 的强大功能，并通过高速网络（以太网或 Infiniband）共享它们。 具体来说，Mangstor NX6320 使用具有 RDMA 网络访问的 NVMe over Fabrics，以便为延迟敏感型应用程序提供性能优势。 这种可扩展存储有多个用例，包括关键应用程序、数据库和 HPC。
Mangstor NX6320 的主要优势在于它能够跨网络共享 NVMe 存储设备，作为许多服务器的直连块存储。 服务器获得本地存储的速度和低延迟，而无需在每台服务器中安装 NVMe SSD。 这种能力为管理员提供了集中管理和可服务性。
NX6320 基于 Mangstor 的软件可配置 MX6300 NVMe 固态硬盘 结合其 TITAN 存储堆栈。 我们之前评测过的 MX6300 与其他 SSD 明显不同，因为它允许用户配置其控制器以优化 NAND 的使用，从而降低功耗。 TITAN 存储软件能够采用行业标准服务器，并使用 MX6300 NVMe SSD 将它们转换为全闪存存储阵列。 TITAN 还可以结合 NVMe、RDMA 和多核技术来提供 Mangstor 所说的无与伦比的块存储访问带宽和延迟。 为此，TITAN 优化了从网络到 MX6300 的路径，减少了 CPU 开销。
Mangstor NX6320规格
- 外形：2U
- 容量：8TB | 12TB | 16TB | 32TB
- 带宽 Rd/Wr (GB/s)：6.0 / 4.5 | 9.0 / 6.75 | 12.0 / 9.0 | 12.0 / 9.0
- 吞吐量 Rd/Wr (4K) (IOPS)：1.5 M / 1.1 M | 2.25 万 / 1.67 万 | 3.0 米 / 2.25 米 | 3.0 米 / 2.25 米
- 读/写延迟：110 uS / 30 uS
- 输入输出连接
- 2×40/56Gb/s QSFP 以太网，2x40Gb/s QSFP InfiniBand | 4×40/56Gb/s QSFP 以太网，4x40Gb/s QSFP InfiniBand
- 架构协议支持
- 融合以太网上的RDMA（RoCE）
- InfiniBand的
- iWARP
- 客户端操作系统驱动程序支持
- RHEL
- SLES
- CentOS的
- Ubuntu
- Windows
- VMware ESXi 5.5/6.0 (VMDirectPath)
- 环境
- 入口温度 10 – 35°C (50 – 95°F)
- 海拔高度：0 至 7,500 英尺
- 湿度：5-95%（非冷凝）
- 质保：硬件5年； 基本软件 90 天
- 功率：350 瓦 | 400 瓦 | 450 瓦 | 450 瓦
建筑与设计
在明亮的蓝色表圈下，Mangstor 利用 戴尔 PowerEdge 13G R730 作为 NX6320 的支柱。 当然，利用第 1 层服务器有其优势，包括强大的硬件兼容性和驱动程序资格，以及用于大规模部署的 iDRAC 等管理选项。
定制边框下方是人们对 Poweredge R730 的期望。 设备正面有视频连接器、信息标签、vFlash 媒体卡插槽、USB 连接器和 USB 管理端口/iDRAC Direct。 电源按钮（和开机指示灯）和 NMI 按钮也存在，后者用于在运行某些操作系统时排除软件和设备驱动程序错误。 占据前面板大部分的是驱动器托架，Mangstor 将能够在未来的产品发布中使用这些托架来增加容量。
从左到右，后面板包括系统识别按钮、系统识别连接器和 iDRAC8 Enterprise 端口。 PCIe 插槽也可见，在我们的配置中包括各种 Mellanox 以太网 NIC 选项（40G 和 100G），以及三个 MX6300 系列 NVMe SSD。 串行、视频 (VGA) 和 2 个 USB 连接器也存在，而四个以太网连接器提供 10/100/1000 Mbps NIC 连接。
系统性能
为了测量 Mangstor 的 NX12 NVMe over Fabrics 全闪存阵列的 6320TB 版本的性能，我们利用了戴尔 PowerEdge 13G R730 计算集群。 每台服务器都有四个 Mellanox ConnectX-3 Pro NIC 卡，在 ESXI 6.0 中配置为直通模式，并连接到我们的 Sysbench 基准测试环境中的特定虚拟机。 本次测试提供了强大的驱动支持，所以我们重点进行了性能测试。
在我们的测试布局中，我们测试了 8 个 Sysbench VM 的静态配置。 虽然 NX6320 阵列在容量和性能方面可以轻松支持更多，但直通模式下的 Mellanox ConnectX-3 Pro NIC OFED ESXi 6.0 驱动程序支持仅支持将一个物理 NIC 链接到一个 VM。 实验室中只有 8 个 ConnectX-3 Pro NIC，我们支持的最大配置是 8 个虚拟机。 Mellanox 和 Mangstor 正在致力于 ConnectX-4 OFED ESXi 6.0 驱动程序支持，其中一张卡可以在直通模式下支持多个虚拟 NIC，从而进一步提高 VM 密度。 但在审查时，驱动程序尚未最终确定。
Dell PowerEdge R730 2 节点群集规格
- Dell PowerEdge R730 服务器 (x2)
- CPU：八个 Intel Xeon E5-2690 v3 2.6GHz (12C/24T)
- 内存：32 x 16GB DDR4 RDIMM
- Mellanox ConnectX-3 Pro
- VMware ESXI 6.0
对于此测试，我们以相同方式配置了 8 个虚拟机，并查看了单个分数和总分数。 每个 Sysbench VM 配置了三个虚拟磁盘，一个用于启动 (~92GB)，一个用于预构建数据库 (~447GB)，第三个用于测试中的数据库 (400GB)。 第三个 vDisk 是共享的 NVMe 块存储设备。
Sysbench 测试配置（每个虚拟机）
- CentOS 6.3 64 位
- 存储空间：1TB，已使用 800GB
- Percona XtraDB 5.5.30-rel30.1
- 数据库表：100
- 数据库大小：10,000,000
- 数据库线程：32
- 内存缓冲区：24GB
- 测试时长：3 小时
- 2 小时预处理 32 个线程
- 1 小时 32 个线程
我们的 Sysbench 测试测量平均 TPS（每秒事务数）、平均延迟以及在 99 个线程的峰值负载下的平均 32% 延迟。 查看每秒缩放的事务，Mangstor NX6320 的单个虚拟机运行大约 1,600 TPS（运行在 1,579 到 1,600 TPS 之间）。 NX6320 的总成绩为 12,722 TPS。
从平均延迟来看，NX6320 在整个过程中的运行时间相当稳定，大约为 20 毫秒（从 20.00 毫秒到 20.27 毫秒不等）。 不出所料，总分也非常稳定，低至 20.12 毫秒。
就我们最糟糕的 MySQL 延迟情况（第 99 个百分位延迟）而言，NX6320 再次提供了强大且一致的性能，这次落在 35 毫秒和 37 毫秒之间（从 35.94 毫秒运行到 36.72 毫秒）。 总分36.20ms
总结
Mangstor NX6320 是一款 2U 全闪存阵列，可为共享存储环境带来本地 NVMe 的性能和延迟优势。 为了看到这些性能和延迟方面的改进，Mangstor 利用了自己的 MX6300 NVMe SSD 和 TITAN 软件。 结合这两种技术使 Mangstor 能够优化其系统以获得更高的性能和更低的延迟。 Mangstor 声称 NX6320-16TB 版本具有更高的单阵列性能，并且随着额外阵列的添加而继续扩展性能。 然而，这并非没有妥协，目前 NVMe over Fabrics 解决方案（例如 Mangstor）的缺点是与传统存储解决方案相比驱动程序支持有限。 虽然支持与日俱增，但还有更多工作要做。 这种 NVMe over Fabrics 的实现还需要付出更多努力才能集成到生产环境中。
在性能方面，我们在 NX6320 12TB 版本上运行了 Sysbench 应用程序测试，并将存储配置给八个相同的虚拟机。 在整个测试过程中，NX6320 在单个 VM 性能以及跨 VM 组的一致性方面超出了我们的预期。 NX6320 在 8 个虚拟机上提供了行业领先的性能，比我们迄今为止测试过的最接近的闪存阵列具有 2 倍的优势。 从吞吐量来看，每个虚拟机的运行速度约为 1,600 TPS，总得分为 12,722 TPS。 从正确的角度来看，我们通常看到 8VM 虚拟化 Sysbench 测试的上限低于每台 VM 1,000 TPS。 到目前为止，超越这一点的唯一方法是利用本地 NVMe 或 SAS3 SSD，这当然缺乏在不对性能造成重大影响的情况下轻松共享的能力。 在我们的缩放平均延迟测试中，NX6320 在所有 VM 和总分上的延迟仅变化 0.27 毫秒。 在我们最坏的情况下（第 99 个百分点的延迟），NX6320 再次提供了一致的分数，这次从最低到最高仅相差 0.78 毫秒。
归根结底，NVMe over Fabrics 仍处于早期阶段。 该测试显示了早期的潜力，但还有更多的潜力。 驱动程序的开发继续稳步进行，像 Mellanox 这样的供应商正在投资以期看到积极的结果和更广泛地接受更快的互连。 与 Mellanox 100GbE ConnectX-4 搭配使用的 NX 系列将很快面世，这将允许扩展到更高的 VM 数量和更好的整体可扩展性。
优点
- 迄今为止在共享存储中看到的最佳性能
- Sysbench 测试中一致的低延迟
缺点
- 有限的驱动程序支持，但随着时间的推移正在改善
底线
Mangstor NX6320 在 2U 外形中引入 NVMe over Fabrics，为各种对延迟高度敏感的应用程序和用例提供高性能和低延迟。
