Qumulo File System是Qumulo獨有的跨越數據中心、私有云和公有云的軟件定義分佈式文件系統。 其軟件專為混合雲構建，使其能夠在預先配置和預先合格的行業標準硬件平台上運行，並在本地跨多個公共雲運行。 在我們的實驗室中，我們有機會研究 Qumulo 的軟件及其一些最重要的功能。 在這篇特別的評論中，我們來看看 Qumulo 的文件系統及其圖形用戶界面 (GUI)。
Qumulo File System是Qumulo獨有的跨越數據中心、私有云和公有云的軟件定義分佈式文件系統。 其軟件專為混合雲構建，使其能夠在預先配置和預先合格的行業標準硬件平台上運行，並在本地跨多個公共雲運行。 在我們的實驗室中，我們有機會研究 Qumulo 的軟件及其一些最重要的功能。 在這篇特別的評論中，我們來看看 Qumulo 的文件系統及其圖形用戶界面 (GUI)。
為了進行創新，組織依賴於現代存儲、數據基礎架構、遺留和基於雲的應用程序和服務、雲存儲，以及非結構化數據管理和平台。 然而，對於想要遷移到雲或利用混合雲模型的公司來說，非結構化數據正成為一個難題，因為這種數據會創建一個新的數據孤島； 在大多數可用的雲平台中。 IT 部門面臨這樣的後果，即管理兩個不同文件系統中的工作負載常常不堪重負：一個在本地，一個在雲中。
儘管如此，真正的問題不是雲平台，也不是非結構化數據平台。 我們仍在使用不適合遷移到雲的舊文件存儲。 正如 Qumulo 強調的那樣，IT 已經改變，但文件存儲沒有。 最後一個成功的文件存儲架構是在 15 多年前創建的，那時雲還沒有蓬勃發展。 相比之下，現代文件存儲應該是雲就緒的：統一所有非結構化數據類型，擴展到數十億個文件，跨越多個數據中心，以及雲本身。 此外，通過實時分析和 API 驅動的控制提供可見性和自動化。
Qumulo：雲就緒文件系統
Qumulo 將自己定位為一家不同類型的存儲公司，聲稱擁有第一個文件系統來解決混合雲工作負載並提供雲原生文件數據服務。 借助該軟件，該公司瞄準非結構化數據平台並為構建者和開發者提供應用程序和微服務。 Qumulo 文件系統軟件可在公共雲、私有云和混合雲中使用。
Qumulo 的軟件層包括：
- 平台。 當前的硬件平台包括 HPE 和 Fujitsu，以及公有云 AWS 和 GCP。 Qumulo 最近還宣布能夠將數據從文件轉移到對象，以便利用利用對像數據的雲原生應用程序和服務。
- 操作系統。 基於標準的 Ubuntu Linux。
- 可擴展塊存儲 (SBS)。 Qumulo 的基礎。 實現規模、便攜性、保護和性能。
- 文件系統。 它支持可擴展的文件計數和高性能文件操作。 此外，它還提供對性能和容量的實時洞察。
- 數據服務。 使用企業級工具保護、保護和管理 Qumulo 平台中的數據。 該層包含五個功能：快照、複製、配額、審計和基於角色的訪問控制 (RBAC)。
- 管理和可編程性。 支持使用 Qumulo 平台構建集成解決方案，管理員可以自動化和管理他們的數據服務。
- 數據訪問和身份驗證。 允許使用標準應用程序和操作系統訪問數據，同時確保企業級安全性。 該層支持企業訪問協議，包括 NFS、SMB 和 FTP。
我們這裡的重點是文件系統，它基於以邏輯結構組織數據並支持具有大量文件的工作負載的概念。 文件系統使用呈現單個名稱空間的分佈式體系結構。 使用的平台是獨立節點的無共享集群，每個節點提供容量和性能。 並且，各個節點始終相互協調，使得任何客戶端都可以連接到任何節點並在命名空間中進行讀寫。 這個結構很有趣； 它旨在讓創建者在數據生命週期中移動時在數據集上進行協作。 它還提供對性能和容量利用率的實時洞察，即使系統擴展到 PB 級和數十億個文件。
Qumulo 文件系統將數據組織到目錄中，並將數據呈現給 SMB 和 NFS 客戶端，能夠跨協議共享數據，讓多個不同的用戶和應用程序類型訪問相同的數據。 該文件系統具有突出的獨特屬性：使用 B 樹和內置實時數據分析引擎。
通過使用 B 樹結構，Qumulo 可以擴展到數十億個文件，而不會遇到其他系統普遍存在的問題。 B 樹特別適用於讀取和寫入大量數據塊的系統，因為它們是“淺”數據結構，可以在數據數量增加時最大限度地減少每個操作所需的 I/O 量。 這些結構非常適合文件系統和廣泛的數據庫索引。
Qumulo 文件系統的另一個關鍵部分是具有實時分析引擎的數據感知功能。 數據感知意味著對存儲系統的多維可見性，提供有關係統內容、活動、用戶等的強大洞察力。 借助 Qumulo 的實時分析，存儲管理員可以快速監控存儲使用情況和性能，包括吞吐量和延遲。 這種可見性使組織能夠通過主動管理當前需求以及更好地預測未來存儲需求來控制其非結構化數據，並降低總體運營和資本成本。 正如以下部分所述，Qumulo 網絡用戶界面將這種可見性帶到了下一個系統管理級別。
憑藉其軟件架構和特定的文件系統，Qumulo 使組織能夠實現以前僅在本地數據中心無法實現的業務目標。 Qumulo 的優勢之一是在本地運行其文件系統，然後在雲端運行完全相同的軟件。 該公司是眾所周知的橫向擴展文件存儲提供商。 現在，利用雲的彈性以及雲計算和雲存儲基礎架構的規模，再加上 Qumulo 的軟件，可以非常強大地來回移動數據，並輕鬆擴展或擴展數據中心。 例如，公司可以按原樣使用他們的本地應用程序，將其移動到雲中，並且它可以正常工作。 如果用戶有他們想要利用雲服務（如機器學習或人工智能）的文件數據，Qumulo 的 Shift 功能會將數據複製到雲對象存儲，以訪問云原生應用程序創新。
隨著組織將這些工作負載轉移到雲端，他們還希望了解其數據的執行情況。 Qumulo 的分析為硬件平台提供的相同體驗在雲中也能找到，提供完整的混合雲體驗。 無論公司將軟件運行到物理設備還是雲中，軟件都是相同的，包括相同的 GUI 和功能。
有關特性和功能的更多詳細信息，我們建議您訪問 Qumulo 網站上的技術文檔。
Qumulo 性能
性能配置
我們的 5 節點集群中的 Qumulo 節點配置包括 LACP 中的雙 25GbE 端口，每個端口具有四個 480GB SATA SSD 和十二個 6TB SATA HDD。 對於我們的存儲測試，我們為八台 Dell EMC PowerEdge R740xd 服務器配置了一個 NFS 命名空間，每個服務器都有一個分配給連接到 NFS 共享的 vSwitch 的 25G 端口。 然後，我們在 VMware 中使用了 16 個 CentOS LoadGen，每個都分配了兩個 125GB 的虛擬磁盤，使我們在集群上總共佔用了 4TB 的空間。
在對存儲陣列進行基準測試時，應用程序測試是最好的，綜合測試排在第二位。 雖然不能完美代表實際工作負載，但綜合測試確實有助於為具有可重複性因素的存儲設備建立基線，從而可以輕鬆地在競爭解決方案之間進行同類比較。 這些工作負載提供了一系列不同的測試配置文件，包括“四個角”測試、常見的數據庫傳輸大小測試，以及來自不同 VDI 環境的跟踪捕獲。 所有這些測試都利用通用的 vdBench 工作負載生成器，以及一個腳本引擎來自動化和捕獲大型計算測試集群的結果。 這使我們能夠在各種存儲設備上重複相同的工作負載，包括閃存陣列和單個存儲設備。
隨著 Qumulo 存儲陣列針對大塊傳輸進行了優化，我們的測試集中在 64K、1024K 和 2048K 順序傳輸上。
簡介：
- 64K 順序讀取：100% 讀取，32 線程，0-120% 迭代
- 64K 順序寫入：100% 寫入，32 個線程，0-120% 迭代
- 1024K 順序讀取：100% 讀取，32 線程，0-120% 迭代
- 1024K 順序寫入：100% 寫入，32 個線程，0-120% 迭代
- 2048K 順序讀取：100% 讀取，32 線程，0-120% 迭代
- 2048K 順序寫入：100% 寫入，32 個線程，0-120% 迭代
首先是我們的 64K 順序基準 74,619 IOPS 或 4.66GB/s，延遲為 11.3ms。
64K 寫入的峰值性能約為 9K IOPS 或 555MB/s，延遲為 110ms。
接下來我們進行 1024K 測試。 對於讀取，我們在 7,128 毫秒的延遲下看到了 7.13 IOPS 或 108GB/s 的峰值性能。
1024K 寫入的峰值大約為 1,670 IOPS 或 1.6GB/s，延遲為 557 毫秒，然後下降了一些。
我們最終的順序基準是我們的 2048K。 在讀取性能方面，我們在 3,858 毫秒的延遲時看到了 7.7 IOPS 或 184GB/s 的峰值。
最後，在我們的 2048K 寫入中，我們在 1,055 毫秒的延遲下看到了 2.1 IOPS 或 433GB/s 的峰值。
Qumulo 網頁界面概覽
在下一節中，我們將概述 Qumulo 的 Web 用戶界面及其一些關鍵配置。 該公司為管理員提供此基於 Web 的 UI，以部署、管理和監控數據中心和雲環境。
以管理員身份登錄集群後，我們將直接進入儀表板頁面。 在這一點上，我們立即意識到 Qumulo 提出的獨特而現代的 Web UI。 這個網絡用戶界面由一個直觀的菜單組成，菜單在標籤中組織得很好； 我們在屏幕的左上角看到它，其中快速包含部署、管理和監控我們的基礎架構所需的所有類別。 主菜單由儀表板、分析、共享、集群、API 和工具以及支持選項卡組成。 指向這些選項卡，UI 會顯示一個下拉列表以訪問 UI 提供的所有不同頁面。 在右上角，用戶可以看到當前的軟件版本、時間（基於網絡瀏覽器的客戶端本地時間）和當前登錄的用戶。
儘管如此，在儀表板頁面上，我們注意到一個有吸引力的 UI 佈局，它有助於監控基礎設施，我們可以在其中觀察不同的關鍵區域，如集群概覽、容量趨勢、客戶端活動，以及實時的集群活動。
我們特別喜歡儀表板區域中 UI 的一個概念是與其所有元素的動態交互。 例如，在Cluster Activity下，可以很容易地通過拖動來移動、擴展或縮小我們想要監控的24小時內的所需信息活動。 這裡我們還有一些預設，週期為 1 分鐘、5 分鐘、1 小時，默認為 3 小時。 指標（IOPS 和吞吐量）將根據峰值數據進行相應調整。
在 Dashboard 頁面上向下滾動，我們找到 Client Activity 區域。
現在，我們直接進入 Qumulo 脫穎而出的領域，即分析。 如前所述，Qumulo 允許管理員實時管理數據和用戶。 在 Analytics > Integrated Analytics 下，我們可以看到左側的信息窗格中填充了使用系統資源最多的客戶端，並且目錄和文件正在被積極地讀取和寫入。 單擊特定目錄或子目錄後會顯示此信息。
轉到 Capacity Explorer 頁面，仍然在 Analytics 選項卡下，我們可以看到容量在系統上的分佈情況。 首先，我們大致了解目錄的容量，從大到小列出。
通過單擊一個目錄，我們可以深入挖掘並以更詳細的視角探索它們中的每一個。 例如，下圖顯示了名為“vmw”的目錄中包含的子目錄。
如果我們繼續點擊子目錄，我們最終可以到達文件級別的詳細信息。 這次，我們單擊名為“netapp-centos01”的子目錄。
分析下的下一頁是容量趨勢。 從這裡，我們可以獲得監控和管理集群的容量使用超時所需的所有詳細信息。 這裡的兩個主要區域是容量歷史和容量變化。 這些容量包括元數據、數據和快照（僅在容量更改中排除）。 可以按最近 72 小時、最近 30 天或最近 52 週的時間範圍快速過濾容量的歷史和變化。 這些都是很好的選項，可以幫助存儲管理員可視化和管理集群以實現擴展，並探索重大的容量變化事件。
我們在分析選項卡下探索的下一個部分是活動，我們可以在其中找到吞吐量熱點、IOPS 熱點、客戶端和路徑。 IOPS 熱點頁面讓我們能夠識別存儲系統中的每秒輸入/輸出熱點。 該圖顯示了在文件和元數據的讀/寫操作方面最活躍的目錄。 這些數據的詳細程度可以使用圖表右上角的滑塊進行調整。 暫停顯示的一個很好的選項也是可用的，從自動刷新單選按鈕。
我們還可以監控客戶的活動。 通過分析，我們可以了解哪些客戶端在吞吐量和 IOPS 方面最為活躍。
而且，我們通過路徑對活動進行雲監控。
主菜單中的下一個選項卡是共享，在這裡，我們分析的第一個頁面是配額。 Qumulo 啟用實時容量配額，讓管理員指定允許給定目錄用於文件的容量。 從這個頁面，我們可以創建、編輯或刪除配額。
接下來的兩頁是 NFS 導出和 SMB 共享，它們允許客戶端共享存儲在特定目錄中的數據。 例如，在 NFS Exports 下，我們可以創建新的導出，以及編輯和刪除它們。
主菜單中的下一個是 Cluster。 在 Cluster 菜單下，我們通常可以找到與集群和系統相關的各種配置和選項。 在第一頁 Overview 上，我們有關於集群及其節點的重要容量信息。
通過單擊其中一個節點，我們可以深入了解更具體的硬件細節。 例如，我們點擊“sr-qumulo-1”節點可以發現相關的網絡信息和驅動健康狀態。
在集群菜單下，我們還可以找到關鍵的存儲功能，例如快照和復制。 還有更多選項，包括網絡配置、重命名集群、向集群添加新主機等等。 此外，設置 FTP 和 SMB 協議。 最後，在這個菜單上，我們可以管理身份驗證和授權。 下圖以“本地用戶和組”頁面為例。
從 APIs & Tools 選項卡，我們可以直接在 UI 中訪問 Qumulo Core 頁面。 在這裡，我們可以為 Qumulo Core REST API 下載 python 客戶端庫包裝器和 CLI。
菜單中的最後一個選項卡是支持，我們在這裡找到的第一個頁面是 Qumulo Care，這是一個基於雲的監控服務，我們可以啟用它來向 Qumulo 發送數據。 通過這種方式，Qumulo 團隊可以更好地排除故障並加快任何與集群相關的問題。
最後，在菜單上，我們有軟件升級頁面。
結論
為了進行創新，組織依賴於非結構化數據平台和數據感知存儲，而可用解決方案無法滿足這些需求。 在這篇評論中，我們研究了 Qumulo 文件系統，該系統開髮用於在所有環境中提供非結構化數據。 Qumulo 是數據感知存儲和雲文件數據服務的先驅之一，擁有獨特的混合雲軟件定義解決方案。
在本文的最後一節中，我們了解了 Qumulo 的 Web UI。 過去，我們一直在概述一些最流行的服務器和存儲設備的圖形用戶界面 (GUI)，而這一次，我們很高興能夠概述 Qumulo 的全新 GUI。 乍一看，我們意識到這個 GUI 的優雅設計，出色的用戶體驗，以及管理員日常管理操作的簡單明了。
總體而言，Qumulo 的軟件為其客戶提供了一套卓越的功能、監控和規劃工具。 該軟件簡化了雲之旅。 它通過直接遷移雲遷移支持數據移動，同時提供強大的實時分析來檢測並立即洞察我們寶貴數據的情況。
參與 StorageReview
電子通訊 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | Facebook | RSS訂閱
