Quantum Myriad™ 是一种全新的全闪存横向扩展文件和对象存储软件平台,适用于现代企业工作负载。 Myriad 云原生架构是一种易于使用的解决方案,旨在克服以硬件为中心的设计的局限性,使客户能够适应未来的存储需求,同时减轻 IT 人员的负担。
Quantum Myriad™ 是一种全新的全闪存横向扩展文件和对象存储软件平台,适用于现代企业工作负载。 Myriad 云原生架构是一种易于使用的解决方案,旨在克服以硬件为中心的设计的局限性,使客户能够适应未来的存储需求,同时减轻 IT 人员的负担。
Quantum Myriad 是该公司的全新产品,与其他各种存储设备和归档解决方案并列。 Myriad 的不同之处在于它是一种专为最新闪存技术设计的无共享架构,可在任何规模下提供一致的低延迟性能。
尽管它是全新的,但 Quantum 推出了一组强大的内联数据服务,例如重复数据删除、压缩、快照、克隆和元数据标记,旨在加速 AI/ML 数据处理。 在操作上,熟悉且经过验证的云技术(如微服务和 Kubernetes)用于提供云的简单性。 最终,Quantum 将 Myriad 设计为一个零接触存储、集群和网络管理平台,可以在不中断的情况下轻松扩展、更改和收缩系统。
Quantum 首席开发官 Brian Pawlowski 表示:
“为了跟上数据增长的步伐,业界已经‘投入硬件’来解决这个问题。 整合客户、合作伙伴和行业分析师对当前市场解决方案缺失的反馈,我们对 Myriad 采取了完全不同的方法,结果就是我 20 年来一直想要构建的架构。 Myriad 是一款极其简单、适应性极强的存储软件,适用于不可预测的未来。”
量子无数软件
无数软件在标准 x86 存储服务器上运行,使 IT 团队可以轻松采用最新硬件。 这当然包括最新的存储外形、NAND 技术和满足未来需求的接口,以及未来新的 I/O 选项和潜在的加速卡。
作为大多数软件的典型代表,Myriad 包含许多交互以提供内部功能和面向客户的服务的组件,在这种情况下,存储和检索文件和对象。 软件组件和功能是典型的分层模型,平行于系统中的数据流。 Quantum 将这些层从上到下描述为客户端、数据服务、文件系统和事务键/值存储。 每个层和组件都旨在减少延迟并最大限度地提高并行性。
单独查看每个组件,很容易看出并行运行这些组件很有意义,可以提供更好的性能和功能。 让我们从堆栈的顶部开始分解它。
客户端组件包括 NFS 服务器进程、SMB、S3、专有服务和 GPU-Direct 服务。 客户端组件与自定义 Myriad 文件系统的实例交互。 可以定义任意数量的文件系统,每个文件系统都有一个或多个关联的表示层。 可以使用 NFS 和 S3 表示定义一个文件系统,从而允许访问与文件和对象相同的数据。 文件系统的数量没有限制,可以配置它们以满足业务需求。
数据服务层支持始终在线的内联重复数据删除和压缩、快照和克隆等功能。 文件系统层是完全分布式和可组合的,它可能是每个用户或应用程序一个文件系统。
事务性键值存储是所有数据和元数据的中央存储库。 这是系统的核心,分布在 Myriad 集群中的所有存储节点上,并且随着节点添加到集群中而线性增加。 键值存储使用独特的动态擦除编码 (EC) 方案将数据存储在 NVMe SSD 上,该方案可根据事件实时调整,保持保护并最大限度地提高效率。
无数集群架构
Myriad 被设计为一种灵活、自我修复、自我平衡的软件,允许在服务中升级,在后台自动重建和修复数据,同时在存储集群根据客户需求进行调整的同时重新平衡数据。 凭借自动检测、部署和配置集群内存储节点的智能,集群无需干预即可扩展、修改或收缩,IT 管理员可以专注于其他重要功能。
尽管 Myriad 软件被设计为可以在任何地方运行,但最初的版本是在 Quantum iron 上提供的。 Myriad 集群架构如下图所示。
无数的管理门户
安全的在线门户通过连接到昆腾基于云的 AI 操作软件,提供对系统健康状况、性能和容量趋势的实时监控。 无需专门的管理服务器来运行 Myriad 集群。 Myriad 通过内置快照、克隆、快照恢复工具和回滚功能提供简单的数据安全和勒索软件恢复。
无数的硬件规格
Quantum 为每个集群组件定义了硬件要求,以便轻松选择所需的硬件。 如前所述,初始版本将在 Quantum 提供的设备上提供。 硬件要求很简单,不包含任何异常的东西。
存储节点规格
存储节点是提供计算和存储服务的标准服务器。 在 GA,一个集群由五到十个存储服务器组成。 1U 设备在具有 64GB RAM 的 512 核 CPU 上运行,支持 PCIe Gen4。 每台服务器在正式发布时支持十个 15.36 TB 的单端口 TLC 驱动器。 网络连接通过四个 100GbE 端口实现,管理通过一个 1GbE RJ-45 实现。 Quantum 设备具有双电源和冗余风扇组件。
NVMe 存储节点位于集群的核心,是 SSD 的所在地,并运行 Myriad 软件和服务。
负载均衡器节点规格
这是一个相当通用的交换机,它将集群连接到客户网络并平衡集群和集群内的入站流量。 该集群需要两台 1U 交换机,带有 32 个 100GbE 网络端口和一个 1GbE RJ-45 管理端口。 Quantum 的交换机将具有双电源和冗余风扇。
部署节点规范
该节点部署软件并配置集群中的其他节点。 部署节点不在数据路径中。 每个集群需要一个部署节点。 这些节点配置有 48 个 1GbE 端口、一个 1GbE RJ-45 管理端口,并且与其他设备一样,具有双电源和冗余风扇。
Deployment节点负责集群的部署和维护,包括初始安装、扩容、软件升级等。
无数的网络
无数节点通过设计简单的 100GbE 连接。 除了实际连接网络外,客户几乎无事可做。 无数节点是自动配置的,不需要额外的硬件或客户交互。 Myriad 为配置和控制功能提供直观的 GUI,还支持 SNMP 和 sFlow 监控。
集群节点通过两个网络互连:一个 100GbE 无损网络,带有 RDMA 用于数据和管理流量,一个 1GbE 网络用于部署任务。 安装时,可以选择为内部网络提供不可路由的子网或接受默认的 172.16/16。 所有集群节点和 Kubernetes pod 的内部接口都分配了这个范围内的地址。 添加到集群的任何新节点都会自动分配一个来自所选子网的地址。
Load Balancer 节点使用 NAT 将内部集群网络与数据中心网络隔离开来。 负载均衡器节点使用等价多路径 (ECMP) 路由来跨存储节点传播传入连接。 无数外部网络使用边界网关协议 (BGP) 路由协议,使与外部网络的连接变得简单。 客户交换机需要为 ECMP 未编号的 BGP 配置面向 Myriad 的端口。
云中无数
虽然初始版本是在专用设备上提供的,但该架构旨在将 Myriad 部署在 AWS 等公共云基础设施上。 Myriad 的云部署可以利用底层云平台服务,但软件和整体体验是相同的。
对于云部署,由于 Myriad 软件在 Kubernetes 集群中运行,因此 Myriad 将使用 AWS EKS 等云 Kubernetes 服务。 Myriad 负载均衡器功能将使用云网络和负载均衡服务。
市场影响
Myriad 扩展了 Quantum 的非结构化数据解决方案组合。 它适用于需要更高性能和规模的新兴用例,包括 AI/ML、数据湖、VFX 和动画渲染,以及其他高带宽和高 IOP 应用程序。
虽然可能有许多针对这些工作负载的解决方案,但在现代从头开始开发的解决方案很少。 对于 Quantum 来说,采用他们现有的解决方案之一,涂上一层新的口红,如容器存储界面,并将其称为新解决方案会更容易。 但昆腾选择冒着巨大的风险将全新的解决方案推向市场,该解决方案是从头开始设计的。 Quantum 对最终结果非常满意,同时也承认还有更多工作要做,以便在客户开始亲身实践并积累反馈时将功能引入 Myriad。
说到实际操作,我们打算很快使用 Myriad 套件访问 Quantum 数据中心,我们已经安排了访问。 对于那些等不及我们的完整报告的人来说,Quantum Myriad 现在可供抢先体验客户使用,并计划在今年第三季度正式发布。
参与 StorageReview
电子报 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | TikTok | RSS订阅