Cloudian 的 HyperStore 是一个软件定义的存储平台，它建立在对 Amazon S3 API 的原生支持之上，并与其他几个云存储 API 集成。 Cloudian 以存储设备的形式提供 HyperStore，并为商用硬件提供 HyperStore 操作环境软件解决方案。 HyperStore 紧密的云集成突出了平台的分层、备份、复制、冷存储和其他功能。 这也让 Cloudian 能够支持多种部署选项，这些选项可以利用本地、远程和云存储的组合。
Cloudian 的 HyperStore 是一个软件定义的存储平台，它建立在对 Amazon S3 API 的原生支持之上，并与其他几个云存储 API 集成。 Cloudian 以存储设备的形式提供 HyperStore，并为商用硬件提供 HyperStore 操作环境软件解决方案。 HyperStore 紧密的云集成突出了平台的分层、备份、复制、冷存储和其他功能。 这也让 Cloudian 能够支持多种部署选项，这些选项可以利用本地、远程和云存储的组合。
HyperStore 横向扩展架构将所有数据、元数据、配置和操作分布在集群中，并支持跨多个数据中心的部署。 HyperStore 利用对象流和动态自动分层功能在本地云和远程云存储服务之间移动数据，可扩展到多个数据中心的数千台服务器和数百 PB 的数据。
HyperStore 实施了满足“高级”Amazon S51 兼容性标准所需的 3 项操作，这允许开发人员和管理员部署可与 Amazon S3 SDK 一起本地工作的存储。 HyperStore 也是从头开始开发的，支持多租户部署和必要的 QoS、计费和报告功能，以便经销商和服务提供商将平台置于托管服务提供商环境中。 用户也可以直接在 HyperStore 软件和设备上运行 Hadoop 分析。
部署 HyperStore 的用例之一是利用 CloudBerry 的备份功能。 CloudBerry Managed Backup 可以从 Amazon EC2 服务器运行，HyperStore 存储与 Amazon S3、Amazon Glacier、Google Nearline、Windows Azure、OpenStack 和其他云存储提供商集成。 使用 HyperStore 和 CloudBerry 的托管备份解决方案的服务提供商还可以为用户或客户提供 Web 访问，以获取存储在 HyperStore 实例中的数据。
Cloudian 最近刚刚发布了 Hyperstore Connect for Files。 这一新功能启用了对 SMB、NFS 和 FTP 的本地支持。 这种支持意味着基于文件的存储现在可以与 Cloudian HyperStore 即插即用。 Hyperstore Connect for Files 在单个全球 HyperStore 对象存储部署之上运行，降低了成本和管理复杂性，并具有两个模块：Access Point 设计为无状态，充当客户端连接的服务器，以便将文件转换为对象； 全局视图管理器为跨位置的分布式协作提供全局命名空间和全局文件锁定。
为了准备 HyperStore 平台的概述，除了在我们的实验室中进行小型 DIY 配置之外，我们还使用软件设备形式的 HyperStore。 一旦部署到至少三个 RedHat 或 CentOS 服务器节点，该软件设备就可用于建立 HyperStore 实例。 当前的 Cloudian 硬件产品包括 HyperStore FL3000 机架设备，在 3U 中具有八个存储节点。 每个 4U 扩展单元最多可部署 480TB。 具有五年支持的 12U、576TB HyperStore 设备部署的 Cloudian 标价为 324,000 美元。
Cloudian HyperStore 硬件规格和选项
- HyperStore FL3000 µNode 机箱
- 功能：数据服务
- 外形：3U
- 驱动器：16 个 SSD（每个 µNode 2 个）
- 模块：8xµNode
- 连接性：16x10G SFP+、8x1Gbe IPMI
- 尺寸（长x宽x高）：589mm x 438.4mm x 132.5mm 23.2” x 17.26” x 45.21”
- 重量：88 磅（39.92 公斤）
- 驱动器大小：480GB SSD MLC
- 电源：(2) 1620W 输出 @ 180-240V 10.5-8A，50-60Hz
- 冷却：4x 8cm 11K RPM，4 针 PWM 冷却风扇
- RohS：合规
- 磁盘区域：每个节点 1 个区域
- HyperStore 扩展货架
- 功能：数据存储
- 外形：4U
- 驱动器：60xHDDs
- 模块：(2) 热插拔 SAS 接口模块 (SIM) & (4) 热插拔内部 SAS 接口模块 (ISIM)
- 连接性：2×4 端口 6Gb/s mini-SAS 端口
- 尺寸（长x宽x高）：1103.1mm x 447mm x 175.3mm 43.43” x 17.60” x 6.90”
- 重量：187.39 磅（85 千克），带 HDD
- 驱动器大小：2、4、6、8 TB SATA 7200rpm
- 电源：(2) 1400W 高效冗余 PSU 200-240VAC，50/60 Hz
- 冷却：每个系统的 (7+1) 个转子冗余风扇模块
- RohS：合规
- 磁盘区域：每个架子 2 或 4 个区域
- HyperStore FL3020 µNode
- 每个节点的数据磁盘：15
- 支持的驱动器类型：2、4、5、6 TB
- 最大容量/节点：30TB、60TB、75TB、90TB
- CPU类型：Intel E5-2640 V2.2GHz，8核
- 内存：64GB
- 连接性：2x10Gbe SFP+端口，1x1Gbe IPMI LAN 端口
- Hyperstore OS 磁盘：2x480GB SSD
- 磁盘连接：2x6bps SAS 端口
- KVM：1xVGA、1xCOM 和 2xUSB 2.0（带 KVM dongle）端口
- 开关：电源
- HyperStore FL3050 µNode
- 每个节点的数据磁盘：30
- 支持的驱动器类型：2、4、5、6 TB
- 最大容量/节点：60TB、120TB、150TB、180TB
- CPU类型：Intel E5-2640 V2.2GHz，8核
- 内存：128GB
- 连接性：2x10Gbe SFP+ 端口，1x1Gbe IPMI Lan 端口
- Hyperstore OS 磁盘：2x480GB SSD
- 磁盘连接：2x6bps SAS 端口
- KVM：1xVGA、1xCOM 和 2xUSB 2.0（带 KVM dongle）端口
- 开关：电源
操作系统和环境
HyperStore 利用基于 Web 的管理进行系统和集群监控和数据管理，并为用户、组、评级计划、服务质量控制和计费提供管理界面。 REST-ful API 选项可用于与其他供应、身份验证和计费系统集成。
HyperStore 的访问管理系统为用户和管理员提供身份和安全工作流，包括为服务提供商管理计费和退款政策。 支持每个用户的多个凭据以及可配置的基于组和用户的 QoS 配额，用于多租户云中的存储和带宽。
HyperStore 部署最多使用三个分布式文件系统：Cassandra 文件系统 (CASSANRDA)、HyperStore 文件系统 (HFS) 和纠删码 (EC)。 CASSANDRA 用于元数据索引，也用于优化小文件的存储。 HyperStore 文件系统是数据存储层。 它可以使用复制或擦除编码 (EC) 来存储对象。 您可以为不同的存储池（称为 Buckets）选择哪种存储方法。 借助 EC，它以最小的空间开销（在某些部署中低至 20% 的开销）提供了高数据持久性和可用性。 权衡是访问对象的延迟更高并且需要更多处理。 对于大型备份和存档工作负载，通常使用纠删码。 当人们需要更快的访问以及跨区域复制时，将使用复制。 基于计划的自动转换（Cloudian 的自动分层术语）可从 HyperStore 存储到 Amazon S3 存储、Amazon Glacier 存储、远程 HyperStore 部署或第三方 HyperStore 服务。
HyperStore AES-256 服务器端加密通过对通过 HTTPS 传输的数据进行 SSL 加密来保护静态数据。 HyperStore 文件系统还包含三种可选的压缩方案：snappy、lz4 和 zlib。 Snappy 强调速度胜于压缩，额定压缩吞吐量为 250MB/秒或更高，解压速率为 500MB/秒或更高。 lz4 的压缩比低于 zlib，额定压缩速度为每核 400MB/s。 zlib 提供中等压缩比和速度以及高解压率。
除了 HyperStore 的内置功能外，HyperStore 用户还可以利用 Cloudian 的 CloudBerry Labs 提供的多种应用程序。 这些产品中最著名的是 CloudBerry Backup 系列的成员，但 Cloudian 还提供用于简化基于云的文件管理、将云存储安装为网络驱动器的应用程序，以及 CloudBerry Box，一种类似于 Dropbox 的双向工具，用于同步数据通过云存储帐户跨远程计算机。
CloudBerry Backup 包括计划和实时备份、加密和压缩、带宽限制和块级备份以及 MS SQL 服务器、MS Exchange、VMware 和 Hyper-V 的备份。 托管服务提供商的版本可以从托管备份控制面板监控用户备份历史，并可以创建具有有限权限的子管理员帐户。
以管理员身份登录后，GUI 的主屏幕为我们提供了顶部区域。 区域下方是容量管理，蓝色是已用量，绿色是可用量。 容量管理的正下方是集群运行状况（可以看到当前有警报处于活动状态）。 这些右侧是每秒事务数和以 KB/s 为单位测量的吞吐量（在两个图表中，PUT 为蓝色，而 GET 为绿色）。 屏幕底部是与软件版本一起管理的用户、组、对象、节点和数据中心的数量。
屏幕顶部是选项卡，例如主屏幕、分析、存储桶和对象、用户和组、集群、警报、设置和帮助。 为了设置用户和组，管理员需要单击“用户和组”选项卡。 通过此选项卡，可以添加一个新组以及每个组的特定 QoS。
管理员还可以在此选项卡中创建评级计划。 评级计划是为计费报告而创建的。 管理员还可以检查一组组或用户的帐户活动。
通过分析选项卡，管理员可以查看集群使用情况，例如随时间推移的区域容量消耗（以 GB 为单位）、每秒对象事务数以及以 KB/s 为单位的吞吐量。 Capacity Explorer 通过图形表示显示容量使用情况。 同样出于计费原因，管理员可以按用户检查使用情况。 他们可以搜索特定的对象。
通过“存储桶和对象”选项卡，管理员可以上传、创建或搜索存储桶和对象。 可用的桶列在左侧。 搜索下方是对象列表、它们的大小以及上次修改的时间。
“集群”选项卡为管理员提供了几种不同的集群外观。 该选项卡内有几个数据中心子选项卡，它们按区域显示集群并显示集群的健康状况——绿色表示清晰，琥珀色表示警报（下图中每个六边形代表集群中的一个节点）。
有一个 Nodes Status 选项卡显示总体状态，指示诸如磁盘空间使用百分比、CPU 使用百分比、正在使用的磁盘的详细信息、内存使用信息以及服务状态和事件列表等方面.
节点活动选项卡为管理员提供节点特定操作方面的图形表示。 用户有几个选项，包括 CPU 利用率（如下图）、可用磁盘、磁盘读取、磁盘写入、网络吞吐量（传出）、网络吞吐量（传入）、事务（获取）、事务（放置、请求吞吐量（获取）、请求吞吐量(Put)、平均请求延迟 (Get)、平均请求延迟 (Put)、Admin 内存堆使用情况、Cassandra 内存堆使用情况、HyperStore 内存堆使用情况和 S3 内存堆使用情况。
高级设置启用维护、禁用磁盘、收集诊断和卸载节点的能力。
Cluster Config 选项卡允许管理员查看他们的集群信息以及更新他们的许可证，查看和编辑他们的集群配置设置，以及设置 Auto teiring。 对于自动分层，客户应该拥有一个亚马逊账户。
存储策略选项卡使管理员能够设置包括 EC2+1 在内的策略。 此选项卡具有点击式数据分布和用于选择纠删码 K+M 值的下拉屏幕。 选择这些后，管理员可以按区域和每个区域内的数据中心分配数据中心。 一旦分配了数据中心，用户就可以设置数据和元数据一致性级别以及组可见性。
通知规则允许将电子邮件发送到节点中特定项目的特定地址。 管理员需要添加他们希望接收通知的电子邮件地址，然后通过给定规则选择他们希望收到通知的项目。 例如，如果他们希望在集群使用超过 90% 的 CPU 利用率时收到通知，他们可以通过此选项卡进行设置。
集群选项卡中的最后一个子选项卡显示修复状态和修复历史记录。
“警报”选项卡指示系统何时出现问题或发生更改。 警报可以按节点或区域排序，并通过确认它们来清除。
结论
HyperStore 是一个存储平台，它展示了广泛可用的云存储和开放 API 所带来的机遇和融合。 HyperStore 软件设备允许管理员跨商用服务器硬件部署完全兼容的 S3 对象存储云，并可选择通过添加新的商用硬件或专用 HyperStore 硬件设备进行无缝扩展。
通过从头开始构建 HyperStore 以实现与 Amazon S3 其他云平台的互操作性，Cloudian 可以为客户提供解决方案，这些解决方案充分利用第三方云提供商的分层、备份、复制和其他功能，而无需管理两个不同的存储环境体系结构或管理范例。 这也意味着 HyperStore 管理员和用户可以利用 HyperStore 对完善的 S3 应用生态系统的原生支持。
底线
HyperStore 将本地 S3 云存储的强大功能和灵活性与 API 集成一起带到商用硬件中，以充分利用亚马逊、谷歌、微软和其他公司的异地云存储。
