SUSE Enterprise Storage 評測

SUSE Enterprise Storage 是由 Ceph 提供支持的軟件定義存儲解決方案，旨在幫助企業管理不斷增長的數據集。此外，SUSE 旨在通過利用有利的存儲經濟性來提供幫助，因為硬盤驅動器繼續變得更大，閃存價格繼續下降。雖然通常配置為混合，但 Ceph 最終會像客戶要求的那樣靈活。雖然現在很多軟件定義的熱情都集中在主存儲和超融合產品上，但 Ceph 也在幫助推動重要的硬件開發。 HP、Dell、Supermicro 和其他公司都在具有多個計算節點的密集型 3.5" 機箱上投入了大量資金，以努力提供 Ceph 所需的底層硬件平台。在本次特別審查中，我們利用了 HPE 設備，包括 ProLiant 服務器和 Apollo 機箱，但 SUSE Enterprise Storage 幾乎可以部署在任何設備上。

雖然深入探討 Ceph 超出了本次審查的範圍，但對什麼是 Ceph 有一個基本的了解很重要。 Ceph 是一種軟件存儲平台，其獨特之處在於能夠在一個統一的系統中提供對象、塊和文件存儲。 Ceph 的另一個吸引人的特性是它具有高度可擴展性，並且可以高度擴展到 EB 級數據。它可以在商品硬件上運行（意味著不需要任何特殊的東西）。 Ceph 旨在避免單點故障。每個人都感興趣的是，Ceph 是免費提供的。

用戶可以在使用多個智能守護進程的商品硬件上設置一個 Ceph 節點，特別是四個：集群監視器 (ceph-mon)、元數據服務器 (ceph-mds)、對象存儲設備 (ceph-osd) 和代表性狀態傳輸 ( RESTful) 網關 (ceph-rgw)。為了更好地保護用戶數據並使其具有容錯能力，Ceph 複製數據並將其條帶化到多個節點以實現更高的吞吐量。

SUSE Enterprise Storage 正在使用 Ceph 作為超大型、經濟高效的大容量存儲來存儲多種數據。數據只會增長，大數據非常有價值，但會佔用大量容量。大數據可以為公司提供對他們的底線非常有價值的洞察力，但為了分析這些數據，他們需要同時在某個地方存儲它。除了能夠以經濟高效的方式存儲海量數據外，SUSE Enterprise Storage 還具有高度的適應性。該軟件具有自我管理和自我修復功能，是快速適應需求變化的理想之選。這意味著，管理員可以在不中斷的情況下快速調整性能並配置額外的存儲空間。這種適應性有助於為與 SUSE Enterprise Storage 一起使用的商用硬件提供靈活性。

SUSE 企業存儲功能

緩存分層
精簡配置
寫時復制克隆
糾刪碼
異構操作系統塊訪問 (iSCSI)
統一對象、塊和文件系統訪問（技術預覽）
用於編程訪問的 API
OpenStack 集成
節點或容量的在線可擴展性
在線軟件更新
靜態數據加密

SUSE Enterprise Storage 硬件配置

監控節點跟踪集群狀態，但不位於數據路徑中。在我們的例子中，三個監控節點是 1U HPE ProLiant DL360 服務器。對於大多數 SUSE Enterprise Storage 集群，三個監控節點就足夠了，但如果存儲節點數量非常多，企業可能會部署五個或更多。

SUSE 存儲節點可水平擴展，由三個 HPE Apollo 4200 節點和三個 HPE Apollo 4510 節點組成。在我們的配置中，數據在存儲節點上一式三份地寫入，當然這可以根據需要進行更改。保護級別可在池級別定義。

3 個 HPE Apollo 4200 節點
- 2 個英特爾 E5-2680 v3 處理器
- RAM 320GB
- M.2 啟動套件
- 4x 480GB SSD
- 24 個 6TB SATA 7.2k 驅動器
- 1x 40Gb 雙端口適配器
3 個 HPE Apollo 4510 節點
- 2 個 e5-2690 v3 處理器
- RAM 320GB
- M.2 啟動套件
- 4x 480GB SSD
- 24 個 6TB SATA 7.2k 驅動器
- 1x 40Gb 雙端口適配器
3 個 HPE ProLiant DL360 節點
- 1 E5-2660v3
- RAM 64GB
- 2x 80GB SSD
- 6x 480GB SSD
- 1x 40Gb 雙端口適配器
2 個 HP FlexFabric 5930-32QSFP+ 交換機
服務器配置
- 帶有 SUSE Enterprise Storage 的 SUSE Linux Enterprise Server 12 SP1
- 為日誌設備以 6:1 的 HDD 與 SSD 比例部署的 OSD
- HPE Apollo 4200s 和 4510s 共同參與一個存儲集群，共有 144 個存儲設備
- DL360s 充當管理員、監視器和 Romana GUI 角色
- 6個存儲節點均部署iSCSI網關服務

SUSE 企業存儲管理

大多數 SUSE 企業存儲是通過 CLI 管理的，儘管也有基於 Web 的 GUI。目前 SUSE 正在使用 Calamari 作為其 GUI，不過這可能會在未來發生變化。一旦用戶設置好 Calamari 並打開，他們就會看到人們通常對 GUI 的期望。主頁有四個橫跨頂部的主要選項卡，包括：儀表板、工作台、圖表和管理。儀表板選項卡（默認打開的選項卡）顯示系統的健康狀況以及任何當前活動的警告。顯示集群中 OSD 的總數，同時還指示了上下總量。顯示監視器的數量（總數/和正在運行的）。並指出池的總量。在這些下方是歸置組狀態，包括活動和乾淨的數字以及顯示用戶乾淨（綠色）、工作（黃色）和臟（紅色）的顏色代碼系統。

Workbench 選項卡為用戶提供了 OSD 數量的圖形表示，哪些正在正常運行，哪些已關閉。從圖中可以看出，雖然大多數都正確運行並以綠色表示，但有一個向下以紅色突出顯示並且稍大。在左側，用戶可以按 OSD 進行排序和過濾。

通過 Workbench 選項卡，用戶還可以獲得存儲性能的圖形表示。在下面的示例中，用戶可以看到他們的讀寫 IOPS、存儲利用率以及報告的主機數量。

使用“圖表”選項卡，用戶可以選擇一個集群並獲得顯示集群性能的折線圖，同時顯示讀取和寫入。

管理選項卡允許用戶編輯集群、OSD、池和查看日誌。在 OSD 子選項卡下，用戶可以看到左側列出的主機以及每個主機中的 OSD。用戶可以移動 OSD 來平衡負載。

企業綜合工作負載分析

存儲性能隨著陣列適應其工作負載而變化，這意味著存儲設備必須在每個 fio 綜合基準以確保基準是準確的。在每個測試中，我們使用與主要測試相同的工作負載對組進行預處理。為了進行測試，我們使用未經調整的庫存配置運行 SUSE Enterprise。在未來，SUSE 測試可能會在特定操作系統和 Ceph 調整下運行。

預處理和初級穩態測試：

吞吐量（讀+寫 IOPS 聚合）
平均延遲（讀+寫延遲一起平均）
最大延遲（峰值讀取或寫入延遲）
延遲標準偏差（讀+寫標準偏差一起平均）

Dell PowerEdge LoadGen 規格

Dell PowerEdge R730 服務器 (2-4)
CPU：雙 Intel Xeon E5-2690 v3 2.6GHz (12C/28T)
內存：每個 128GB DDR4 RDIMM
網絡：Mellanox ConnectX-3 40GbE

由於 SUSE Enterprise Storage 集群適用於大型順序傳輸，我們包括一項隨機工作負載測試，同時將三個順序傳輸測試集中在不斷增加的傳輸大小的集群上。每個工作負載都應用了 10 個線程和 16 個未完成的隊列深度。隨機工作負載應用了 2 個客戶端，結果合併為一個總分，而順序結果是用 2 個和 4 個客戶端測量的。每個客戶端通過 RBD (RADOS 塊設備）協議。

工作負載配置文件

4k隨機
- 100% 讀取和 100% 寫入
8k 連續
- 100% 讀取和 100% 寫入
128k 連續
- 100% 讀取和 100% 寫入
1024k 連續
- 100% 讀取和 100% 寫入

在我們的隨機 4k 綜合基準測試中，SUSE Enterprise Storage（以下簡稱 SUSE）能夠在單個主機上達到 8,739 和 8,646 IOPS 的讀取吞吐量，總讀取分數為 17,385 IOPS。在寫入吞吐量方面，單個主機達到 4,571 和 4,880 IOPS，總得分為 9,451 IOPS。

從平均延遲來看，兩台主機以及它們之間的平均延遲在讀取和寫入方面都非常接近。在讀取端，各個主機的延遲分別為 18.3 毫秒和 18.51 毫秒，總延遲為 18.41 毫秒。對於寫入，單個主機有 34.99 毫秒和 32.78 毫秒，總計 33.88 毫秒。

最大延遲在寫入方面顯示出相當一致的分數，單個主機分別為 4,890 毫秒和 4,628 毫秒，總計為 4,759 毫秒。對於讀取延遲，各個主機之間存在更大的差異，延遲從 5,227.2 毫秒到 7,125.6 毫秒不等，總得分為 6,176.4 毫秒。

標準偏差再次看到延遲再次拉近。各個主機的讀取延遲分別為 36.7 毫秒和 37.21 毫秒，總延遲為 36.96 毫秒。寫入延遲從 80.18 毫秒到 89.84 毫秒不等，總得分為 85.01 毫秒。

從這裡我們切換到順序測試，第一個是我們的 8k。在這裡，我們查看兩組測試（SUSE 2 和 SUSE 4），其中兩台主機在 SUSE 2 中，四台主機在 SUSE 4 中，每組都有總分。 SUSE 2 為我們提供了 66,610 和 66,763 IOPS 的讀取吞吐量以及 5,235 和 5,375 IOPS 的寫入吞吐量。對於具有兩個主機的 SUSE，我們的總得分為 133,373 IOPS 讀取和 10,608 IOPS 寫入。具有 4 個主機的 SUSE 為我們提供了 47,629 到 49,305 IOPS 的讀取吞吐量和 3,176 到 3,756 IOPS 的寫入吞吐量，總得分為 193,771 IOPS 讀取和 14,280 IOPS 寫入。

切換到大塊 128k 順序測試，具有兩個主機的 SUSE 為我們提供了 2.32GB/s 和 2.34GB/s 的讀取吞吐量，讀取總得分為 4.47GB/s。這兩個主機系統為我們提供了 568MB/s 和 572MB/s 的寫入吞吐量，寫入總得分為 1.459GB/s。具有四台主機的 SUSE 為我們提供了從 2GB/s 到 2.644GB/s 的讀取吞吐量，讀取總得分為 9.365GB/s。查看寫入吞吐量，具有 4 個主機的 SUSE 為我們提供了 353MB/s 到 373MB/s 的吞吐量，寫入總得分為 1.46GB/s

切換到更大的塊 1,024k 順序測試，具有兩個主機的 SUSE 為我們提供了 4.48GB/s 和 4.5GB/s 的讀取吞吐量，總計為 8.98GB/s。對於寫入吞吐量，具有兩台主機的 SUSE 為我們提供了 869MB/s 和 885MB/s 的吞吐量，寫入吞吐量合計為 1.755GB/s。四台主機系統為我們提供了 2.553GB/s 到 3.295GB/s 的讀取吞吐量，讀取總吞吐量為 11.863GB/s。在寫入吞吐量方面，四台 SUSE 主機為我們提供了 372MB/s 到 618MB/s 的吞吐量，寫入總得分為 1.828GB/s。

結論

SUSE Enterprise Storage 是一種基於 Ceph 的 SDS 解決方案，旨在幫助那些正在努力應對不斷增長的數據集的公司。 SUSE 使用 Ceph 作為所有類型數據的大容量存儲，這在大數據以多種形式生成時是有益的。 Ceph 的靈活性也是一個優勢，因為它或多或少可以部署在任何東西上，這意味著公司可以在現有投資上利用 SUSE Enterprise Storage 和 Ceph（在我們的審查中，我們使用了 HPE ProLiant 服務器和 Apollo 機箱）。靈活性是一個賣點，但 SUSE Enterprise Storage 還具有高度適應性、自我管理和自我修復能力。換句話說，使用 SUSE Enterprise Storage 的管理員將能夠在不中斷的情況下快速更改性能並配置更多存儲。

在性能方面，我們運行了一個庫存或未調整的配置。使用 Ceph 可以配置大量的變體。我們看到的結果不是調整操作系統或 Ceph，而是幫助設置性能基準。 SUSE Enterprise Storage 更適合大型順序傳輸，因此我們的更多測試都傾向於這種方式。如果用戶擁有 SUSE Enterprise Storage 集群，他們很可能將其用於大型順序，因此會對這些結果更感興趣。話雖這麼說，我們仍然運行了 4k 隨機測試，以全面了解系統如何運行，即使它出現了一些不一定適合的東西。

在我們的 4k 隨機測試中，我們運行了兩個客戶端，在圖表中稱為主機 1 和主機 2。我們查看了每個分數以及組合或總分。對於吞吐量，SUSE Enterprise Storage 為我們提供了 17,385 IOPS 的總讀取分數和 9,451 IOPS 的總寫入分數。對於 4k 延遲，SUSE Enterprise Storage 為我們提供了 18.41 毫秒讀取和 33.88 毫秒寫入的聚合平均延遲，6,176.4 毫秒讀取和 4,759 毫秒寫入的聚合最大延遲，以及 36.96 毫秒讀取和 85.01 毫秒寫入的聚合標準偏差。

更大的順序測試是用 4 個主機和 2 個或 4 個客戶端以及 2 個和 4 個客戶端中每個客戶端的總分進行的。我們使用 8k、128k 和 1024k 測試了順序性能。不出所料，在每次測試中總計 4 個客戶端主機的整體表現最佳。在 8k 中，SUSE Enterprise Storage 為我們提供了 193,771 IOPS 讀取和 14,280 IOPS 寫入的高總分。在我們的 128k 基準測試中，最高總分是 9.365GB/s 讀取和 1.459BG/s 寫入。在我們最終的 1024k 大塊順序基準測試中，SUSE Enterprise Storage 為我們提供了 11.863GB/s 讀取和 1.828GB/s 寫入的高總分。

優點