Cloudian 的 HyperStore 是一個軟件定義的存儲平台，它建立在對 Amazon S3 API 的原生支持之上，並與其他幾個雲存儲 API 集成。 Cloudian 以存儲設備的形式提供 HyperStore，並為商用硬件提供 HyperStore 操作環境軟件解決方案。 HyperStore 緊密的雲集成突出了平台的分層、備份、複製、冷存儲和其他功能。 這也讓 Cloudian 能夠支持多種部署選項，這些選項可以利用本地、遠程和雲存儲的組合。
Cloudian 的 HyperStore 是一個軟件定義的存儲平台，它建立在對 Amazon S3 API 的原生支持之上，並與其他幾個雲存儲 API 集成。 Cloudian 以存儲設備的形式提供 HyperStore，並為商用硬件提供 HyperStore 操作環境軟件解決方案。 HyperStore 緊密的雲集成突出了平台的分層、備份、複製、冷存儲和其他功能。 這也讓 Cloudian 能夠支持多種部署選項，這些選項可以利用本地、遠程和雲存儲的組合。
HyperStore 橫向擴展架構將所有數據、元數據、配置和操作分佈在集群中，並支持跨多個數據中心的部署。 HyperStore 利用對象流和動態自動分層功能在本地雲和遠程雲存儲服務之間移動數據，可擴展到多個數據中心的數千台服務器和數百 PB 的數據。
HyperStore 實施了滿足“高級”Amazon S51 兼容性標準所需的 3 項操作，這允許開發人員和管理員部署可與 Amazon S3 SDK 一起本地工作的存儲。 HyperStore 也是從頭開始開發的，支持多租戶部署和必要的 QoS、計費和報告功能，以便經銷商和服務提供商將平台置於託管服務提供商環境中。 用戶也可以直接在 HyperStore 軟件和設備上運行 Hadoop 分析。
部署 HyperStore 的用例之一是利用 CloudBerry 的備份功能。 CloudBerry Managed Backup 可以從 Amazon EC2 服務器運行，HyperStore 存儲與 Amazon S3、Amazon Glacier、Google Nearline、Windows Azure、OpenStack 和其他雲存儲提供商集成。 使用 HyperStore 和 CloudBerry 的託管備份解決方案的服務提供商還可以為用戶或客戶提供 Web 訪問，以獲取存儲在 HyperStore 實例中的數據。
Cloudian 最近剛剛發布了 Hyperstore Connect for Files。 這一新功能啟用了對 SMB、NFS 和 FTP 的本地支持。 這種支持意味著基於文件的存儲現在可以與 Cloudian HyperStore 即插即用。 Hyperstore Connect for Files 在單個全球 HyperStore 對象存儲部署之上運行，降低了成本和管理複雜性，並具有兩個模塊：Access Point 設計為無狀態，充當客戶端連接的服務器，以便將文件轉換為對象； 全局視圖管理器為跨位置的分佈式協作提供全局命名空間和全局文件鎖定。
為了準備 HyperStore 平台的概述，除了在我們的實驗室中進行小型 DIY 配置之外，我們還使用軟件設備形式的 HyperStore。 一旦部署到至少三個 RedHat 或 CentOS 服務器節點，該軟件設備就可用於建立 HyperStore 實例。 當前的 Cloudian 硬件產品包括 HyperStore FL3000 機架設備，在 3U 中具有八個存儲節點。 每個 4U 擴展單元最多可部署 480TB。 具有五年支持的 12U、576TB HyperStore 設備部署的 Cloudian 標價為 324,000 美元。
Cloudian HyperStore 硬件規格和選項
- HyperStore FL3000 µNode 機箱
- 功能：數據服務
- 外形尺寸：3U
- 驅動器：16 個 SSD（每個 µNode 2 個）
- 模塊：8xµNode
- 連接性：16x10G SFP+、8x1Gbe IPMI
- 尺寸（長x寬x高）：589mm x 438.4mm x 132.5mm 23.2” x 17.26” x 45.21”
- 重量：88 磅（39.92 公斤）
- 驅動器大小：480GB SSD MLC
- 電源：(2) 1620W 輸出 @ 180-240V 10.5-8A，50-60Hz
- 冷卻：4x 8cm 11K RPM，4 針 PWM 冷卻風扇
- RohS：合規
- 磁盤區域：每個節點 1 個區域
- HyperStore 擴展貨架
- 功能：數據存儲
- 外形尺寸：4U
- 驅動器：60xHDDs
- 模塊：(2) 熱插拔 SAS 接口模塊 (SIM) & (4) 熱插拔內部 SAS 接口模塊 (ISIM)
- 連接性：2×4 端口 6Gb/s mini-SAS 端口
- 尺寸（長x寬x高）：1103.1mm x 447mm x 175.3mm 43.43” x 17.60” x 6.90”
- 重量：187.39 磅（85 千克），帶 HDD
- 驅動器大小：2、4、6、8 TB SATA 7200rpm
- 電源：(2) 1400W 高效冗餘 PSU 200-240VAC，50/60 Hz
- 冷卻：每個系統的 (7+1) 個轉子冗餘風扇模塊
- RohS：合規
- 磁盤區域：每個架子 2 或 4 個區域
- HyperStore FL3020 µNode
- 每個節點的數據磁盤：15
- 支持的驅動器類型：2、4、5、6 TB
- 最大容量/節點：30TB、60TB、75TB、90TB
- CPU類型：Intel E5-2640 V2.2GHz，8核
- 內存：64GB
- 連接性：2x10Gbe SFP+端口，1x1Gbe IPMI LAN 端口
- Hyperstore OS 磁盤：2x480GB SSD
- 磁盤連接：2x6bps SAS 端口
- KVM：1xVGA、1xCOM 和 2xUSB 2.0（帶 KVM dongle）端口
- 開關：電源
- HyperStore FL3050 µNode
- 每個節點的數據磁盤：30
- 支持的驅動器類型：2、4、5、6 TB
- 最大容量/節點：60TB、120TB、150TB、180TB
- CPU類型：Intel E5-2640 V2.2GHz，8核
- 內存：128GB
- 連接性：2x10Gbe SFP+ 端口，1x1Gbe IPMI Lan 端口
- Hyperstore OS 磁盤：2x480GB SSD
- 磁盤連接：2x6bps SAS 端口
- KVM：1xVGA、1xCOM 和 2xUSB 2.0（帶 KVM dongle）端口
- 開關：電源
操作系統和環境
HyperStore 利用基於 Web 的管理進行系統和集群監控和數據管理，並為用戶、組、評級計劃、服務質量控制和計費提供管理界面。 REST-ful API 選項可用於與其他供應、身份驗證和計費系統集成。
HyperStore 的訪問管理系統為用戶和管理員提供身份和安全工作流，包括為服務提供商管理計費和退款政策。 支持每個用戶的多個憑據以及可配置的基於組和用戶的 QoS 配額，用於多租戶雲中的存儲和帶寬。
HyperStore 部署最多使用三個分佈式文件系統：Cassandra 文件系統 (CASSANRDA)、HyperStore 文件系統 (HFS) 和糾刪碼 (EC)。 CASSANDRA 用於元數據索引，也用於優化小文件的存儲。 HyperStore 文件系統是數據存儲層。 它可以使用複製或擦除編碼 (EC) 來存儲對象。 您可以為不同的存儲池（稱為 Buckets）選擇哪種存儲方法。 借助 EC，它以最小的空間開銷（在某些部署中低至 20% 的開銷）提供了高數據持久性和可用性。 權衡是訪問對象的延遲更高並且需要更多處理。 對於大型備份和存檔工作負載，通常使用糾刪碼。 當人們需要更快的訪問以及跨區域複製時，將使用複制。 基於計劃的自動轉換（Cloudian 的自動分層術語）可從 HyperStore 存儲到 Amazon S3 存儲、Amazon Glacier 存儲、遠程 HyperStore 部署或第三方 HyperStore 服務。
HyperStore AES-256 服務器端加密通過對通過 HTTPS 傳輸的數據進行 SSL 加密來保護靜態數據。 HyperStore 文件系統還包含三種可選的壓縮方案：snappy、lz4 和 zlib。 Snappy 強調速度勝於壓縮，額定壓縮吞吐量為 250MB/秒或更高，解壓速率為 500MB/秒或更高。 lz4 的壓縮比低於 zlib，額定壓縮速度為每核 400MB/s。 zlib 提供中等壓縮比和速度以及高解壓率。
除了 HyperStore 的內置功能外，HyperStore 用戶還可以利用 Cloudian 的 CloudBerry Labs 提供的多種應用程序。 這些產品中最著名的是 CloudBerry Backup 系列的成員，但 Cloudian 還提供用於簡化基於雲的文件管理、將雲存儲安裝為網絡驅動器的應用程序，以及 CloudBerry Box，一種類似於 Dropbox 的雙向工具，用於同步數據通過雲存儲帳戶跨遠程計算機。
CloudBerry Backup 包括計劃和實時備份、加密和壓縮、帶寬限制和塊級備份以及 MS SQL 服務器、MS Exchange、VMware 和 Hyper-V 的備份。 託管服務提供商的版本可以從託管備份控制面板監控用戶備份歷史，並可以創建具有有限權限的子管理員帳戶。
管理
以管理員身份登錄後，GUI 的主屏幕為我們提供了頂部區域。 區域下方是容量管理，藍色是已用量，綠色是可用量。 容量管理的正下方是集群運行狀況（可以看到當前有警報處於活動狀態）。 這些右側是每秒事務數和以 KB/s 為單位測量的吞吐量（在兩個圖表中，PUT 為藍色，而 GET 為綠色）。 屏幕底部是與軟件版本一起管理的用戶、組、對象、節點和數據中心的數量。
屏幕頂部是選項卡，例如主屏幕、分析、存儲桶和對象、用戶和組、集群、警報、設置和幫助。 為了設置用戶和組，管理員需要單擊“用戶和組”選項卡。 通過此選項卡，可以添加一個新組以及每個組的特定 QoS。
管理員還可以在此選項卡中創建評級計劃。 評級計劃是為計費報告而創建的。 管理員還可以檢查一組組或用戶的帳戶活動。
通過分析選項卡，管理員可以查看集群使用情況，例如隨時間推移的區域容量消耗（以 GB 為單位）、每秒對象事務數以及以 KB/s 為單位的吞吐量。 Capacity Explorer 通過圖形表示顯示容量使用情況。 同樣出於計費原因，管理員可以按用戶檢查使用情況。 他們可以搜索特定的對象。
通過“存儲桶和對象”選項卡，管理員可以上傳、創建或搜索存儲桶和對象。 可用的桶列在左側。 搜索下方是對象列表、它們的大小以及上次修改的時間。
“集群”選項卡為管理員提供了幾種不同的集群外觀。 該選項卡內有幾個數據中心子選項卡，它們按區域顯示集群並顯示集群的健康狀況——綠色表示清晰，琥珀色表示警報（下圖中每個六邊形代表集群中的一個節點）。
有一個 Nodes Status 選項卡顯示總體狀態，指示諸如磁盤空間使用百分比、CPU 使用百分比、正在使用的磁盤的詳細信息、內存使用信息以及服務狀態和事件列表等方面.
節點活動選項卡為管理員提供節點特定操作方面的圖形表示。 用戶有幾個選項，包括 CPU 利用率（如下圖）、可用磁盤、磁盤讀取、磁盤寫入、網絡吞吐量（傳出）、網絡吞吐量（傳入）、事務（獲取）、事務（放置、請求吞吐量（獲取）、請求吞吐量(Put)、平均請求延遲 (Get)、平均請求延遲 (Put)、Admin 內存堆使用情況、Cassandra 內存堆使用情況、HyperStore 內存堆使用情況和 S3 內存堆使用情況。
高級設置啟用維護、禁用磁盤、收集診斷和卸載節點的能力。
Cluster Config 選項卡允許管理員查看他們的集群信息以及更新他們的許可證，查看和編輯他們的集群配置設置，以及設置 Auto teiring。 對於自動分層，客戶應該擁有一個亞馬遜賬戶。
存儲策略選項卡使管理員能夠設置包括 EC2+1 在內的策略。 此選項卡具有點擊式數據分佈和用於選擇糾刪碼 K+M 值的下拉屏幕。 選擇這些後，管理員可以按區域和每個區域內的數據中心分配數據中心。 一旦分配了數據中心，用戶就可以設置數據和元數據一致性級別以及組可見性。
通知規則允許將電子郵件發送到節點中特定項目的特定地址。 管理員需要添加他們希望接收通知的電子郵件地址，然後通過給定規則選擇他們希望收到通知的項目。 例如，如果他們希望在集群使用超過 90% 的 CPU 利用率時收到通知，他們可以通過此選項卡進行設置。
集群選項卡中的最後一個子選項卡顯示修復狀態和修復歷史記錄。
“警報”選項卡指示系統何時出現問題或發生更改。 警報可以按節點或區域排序，並通過確認它們來清除。
結論
HyperStore 是一個存儲平台，它展示了廣泛可用的雲存儲和開放 API 所帶來的機遇和融合。 HyperStore 軟件設備允許管理員跨商用服務器硬件部署完全兼容的 S3 對象存儲雲，並可選擇通過添加新的商用硬件或專用 HyperStore 硬件設備進行無縫擴展。
通過從頭開始構建 HyperStore 以實現與 Amazon S3 其他雲平台的互操作性，Cloudian 可以為客戶提供解決方案，這些解決方案充分利用第三方雲提供商的分層、備份、複製和其他功能，而無需管理兩個不同的存儲環境體系結構或管理範例。 這也意味著 HyperStore 管理員和用戶可以利用 HyperStore 對完善的 S3 應用生態系統的原生支持。
底線
HyperStore 將本地 S3 雲存儲的強大功能和靈活性與 API 集成一起帶到商用硬件中，以充分利用亞馬遜、谷歌、微軟和其他公司的異地雲存儲。
