首頁 Enterprise Quantum Myriad – 適合現代應用的高效能、低延遲

Quantum Myriad – 適合現代應用的高效能、低延遲

by 哈羅德弗里茨
量子無數節點緊

Quantum Myriad 為企業提供一致的低延遲以及高頻寬和 IOPS。 全快閃檔案和物件儲存軟體也為高效能非結構化資料工作負載帶來了簡單性和適應性。

由於企業中的非結構化資料預計在未來五年內將增加一倍以上,組織將繼續將這些資料儲存在老化的系統上,並習慣使用硬體來解決問題。 擴展和升級 NAS 系統或添加更多驅動器以提高效能會造成 NAS 叢集臃腫且低效。 較大的企業在人員預算有限的情況下也增加了基礎設施的複雜性。

量子無數齒條角

昆騰透過專為 NVMe 快閃記憶體設計的全新分散式軟體解決了這個問題。 量子無數™ 為企業提供持續低延遲的高頻寬和 IOPS。 全快閃檔案和物件儲存軟體也為高效能非結構化資料工作負載帶來了簡單性和適應性。

Quantum Myriad 是一種利用現代全快閃架構的雲端原生軟體定義解決方案。 Myriad 專為資料科學、人工智慧、視覺特效和動畫等專業應用而精心設計,專注於以最小的延遲保持可靠的高效能。 此外,Myriad 叢集還具有現代 GUI 和整合的內聯資料服務,包括重複資料刪除、壓縮、快照和克隆。

Quantum 成立於 1980 年,在儲存產業擁有悠久的歷史,從頭開始開發解決方案,而不是嘗試修改現有的老化系統。 Quantum 利用其豐富的儲存知識來開發像 Myriad 這樣的平台,而無需邊學習邊使用。

Myriad 利用了幾年前還不可用的應用程式框架和設計進步。 這種現代的雲端原生架構是一種易於使用的解決方案,克服了典型以硬體為中心的設計的限制。 客戶可以適應未來的儲存需求,同時減少過度勞累的 IT 員工的工作量。 對高效能工作負載的簡單性和適應性達到了新的水平,不受專用硬體投資的限制。

基於容器、開放硬體構建

Quantum Myriad 完全容器化,並使用 Kubernetes 等熟悉且經過驗證的雲端技術,提供「始終在線」的架構,即使在最大規模的情況下也能提供簡單性、自動化和彈性。 它還提供新功能並以最小的風險快速修復。 透過利用微服務和 Kubernetes,Myriad 優化了部署,確保提高靈活性並簡化營運。 值得注意的是其與硬體無關的性質,無需定制設備,同時允許適應性和可擴展性。 這也讓 Myriad 在新技術上市時得以採用。

容器化簡化了 Myriad 叢集中運行的微服務的持續編排,並允許客戶更快地採用新功能並進行修復,風險更低。 簡而言之,無論部署在何處,Myriad 都能提供類似雲端的簡單性。

Myriad 的一切設計都考慮到簡單性。 軟體可實現大部分儲存和網路管理的自動化,使大型叢集的管理變得更加簡單,無需 IT 人員參與。 該軟體會自動偵測、部署和配置叢集中的新儲存節點,以便您可以無中斷地擴展、修改甚至縮小叢集。 NVMe 儲存節點透過內部軟體管理的 100GbE RDMA 結構進行通信,消除了傳統橫向擴展 NAS 系統通常存在的網路複雜性。

Myriad 提供全方位的創新。 自動化儲存管理意味著無需使用者乾預或需要高級 IT 技能即可擴展或修改叢集。 自修復、自平衡軟體會在背景自動重建數據,同時隨著儲存叢集的擴展、收縮和變更重新平衡數據。 與傳統儲存系統相比,快閃記憶體儲存成本透過內聯重複資料刪除和壓縮而降低,並且資料效率得到提高。 透過內建快照、複製、快照復原工具和回滾功能的資料保護和復原變得更加簡單。

極具彈性的簡單架構

Quantum 基於雲端原生原則設計了 Myriad。 利用 Kubernetes 編排的容器化微服務架構提供了可擴充性、靈活性和簡單性。 Myriad 軟體元件協同工作以提供內部功能和客戶導向的服務,例如儲存和擷取文件和物件。

如果將組件和功能視為與系統中的資料流並行的層,則更容易視覺化組件和功能,每個層都旨在最小化延遲並最大化並行性。

每個 Myriad 系統的核心都是事務性鍵值儲存。 這是所有資料和元資料的中央儲存庫。 它分佈在 Myriad 叢集中的所有儲存節點上,並隨著新節點的引入而無縫擴展。 此儲存的寫入時重定向性質自然有利於快照和回滾,並且由於無鎖,它有效地避免了共享儲存系統中遇到的常見爭用來源。

鍵值儲存主要使用獨特的動態擦除編碼 (EC) 方案將資料儲存到 NVMe SSD 上。 此方案即時適應各種事件,確保資料保護完好無損,同時優化效率。

Myriad 的資料服務包括內聯重複資料刪除、壓縮以及對快照和複製的支援。 此外,該路線圖還包括複製和數據分析等令人興奮和授權服務的計劃。

集群架構

儘管是軟體解決方案,Quantum Myriad 仍依賴硬體基礎來執行。 雖然 Myriad 的設計旨在實現跨各種環境(包括公有雲)的多功能性,但 Myriad 的初始部署是透過 Quantum 提供的基礎架構來實現的。 這種安排的美妙之處在於它的簡單性。 它不需要定製或奇特的硬體; 標準 x86 伺服器和 OCP 相容交換器就足夠了。

量子無數

Myriad 叢集中的每種節點類型都有一個特定的角色,有助於資料儲存和/或操作。 節點使用許多供應商提供的通用硬體。 儘管最初的 Myriad 版本將在 Quantum 設備上提供,但客戶可以在未來提供他們的硬體。

叢集的核心是 NVMe 儲存節點。 如今,如果客戶需要更重要的功能,該叢集至少包含五個可輕鬆擴展的節點。 一對乙太網路負載平衡器節點位於前端,用於管理網路連線。 這些節點適當地平衡從外部來源到 Myriad 叢集的傳入流量和叢集內的內部流量。 還有另一個關鍵元素:1GbE 部署節點。

部署節點負責各種與叢集相關的任務,包括初始設定、擴容和軟體升級。 它的作用對於簡化 Myriad 叢集的管理和維護至關重要。

無數節點透過高速 100Gb 乙太網路在內部和外部互連。 與傳統儲存叢集不同,傳統儲存叢集通常需要客戶廣泛參與配置和維護網路基礎設施,而 Myriad 將這一方面納入其設計中。 其結果是自動且無麻煩的配置,不需要客戶額外的投資或精力。

系統容量

系統容量 765 個 NVMe 儲存節點中可達 5 TB,1.53 個 NVMe 儲存節點中可達 10 PB 原始數據
有效資料減少 1.5 倍時的有效系統容量 921.6 個 NVMe 儲存節點中可達 5 TB,1.84 個 NVMe 儲存節點中可達 10 PB
有效系統容量 TB,有效資料減少 3 倍 1.84 個 NVMe 儲存節點中的 5 PB 到 3.68 個 NVMe 儲存節點中的 10 PB
單一NVMe儲存節點容量  每個 NVMe 儲存節點的節點容量 153.6 TB,10 個 NVMe 硬碟托架,每個 15.36 TB

外部網路同樣簡單。 無論規模如何,Myriad 叢集都可以透過單一 IP 位址進行存取和管理。 特別有利的是,在大多數情況下,儲存管理員可以獨立擴展系統,而無需網路團隊的干預,提供了無與倫比的靈活性。

節點介紹

主要參與者:儲存節點

Myriad 系統的核心是儲存節點。 這些節點是緊湊的 1U Linux 伺服器,共同構成 Kubernetes 集群,作為運行必要的 Myriad 軟體元件的基礎。 從處理表示層到管理糾刪碼和使用者介面,這些儲存節點負責一切。

儲存節點規格

外形 1U 伺服器託管 10 個熱插拔 2.5 吋 NVMe 隨身碟托架和 2 個用於系統操作的鏡像 NVMe M.2 驅動器
系統連結 100 GbE 乙太網路 RDMA

每台伺服器 2 個雙埠 100 GbE NIC

電力 750 W 200-240 VAC 冗餘白金電源
尺寸和重量 寬度:17.2 英吋/437 毫米

高度:1.7 英吋/43 毫米

深度:23.5 英吋/597 毫米

重量:39 磅/17.69 公斤

環境建議 工作溫度:10°C ~ 35°C (50°F ~ 95°F)

非工作溫度:-40 °C 至 60 °C(-40 °F 至 140 °F)

工作相對濕度:8% 至 90%(非冷凝)

非工作相對濕度:5% 至 95%(非冷凝)

展望未來,Myriad 計劃推出更多功能的儲存節點,可容納更大或更高容量的驅動器,以符合市場趨勢和需求。 該架構設計靈活,支援混合式儲存節點類型並提供可擴展性以滿足不同的需求。 Myriad 的結構支援小至三個儲存節點的集群,並可擴展到任何所需的大小。 例如,40 節點 Myriad 叢集利用當今的 15.36TB 驅動器,可以提供令人印象深刻的 4.9PB 原始容量(不考慮重複資料刪除和壓縮),展示了其可擴展性潛力。

平衡法案

在Myriad架構中,儲存節點在互通和連接客戶網路方面發揮著至關重要的作用。 此外,叢集需要一種有效的機制來將傳入連接均勻地分佈在所有儲存節點上。 對於傳統的 NAS 集群,這些責任通常落在客戶的肩上,並且需要管理大量的 IP 位址、虛擬 IP 和老式的循環 DNS 映射。 Myriad 透過將負載平衡器節點作為其套件的一部分來簡化這方面的工作。

負載平衡節點規格

外形 1U 32 連接埠 100 GbE 智慧光纖交換機,具有第 3 層路由功能和 Myriad 軟體
系統連結 32 個 100 GbE QSFP28 乙太網路端口

3 Tbps 全雙工三層轉發

線速靜態和動態位址轉換,無延遲,雙重 NAT 和 BGP 路由

電源和冷卻 最大 550 W 100-240 VAC 冗餘電源

熱插拔5+1冗餘風扇

尺寸和重量 寬度:17.25 英吋/438 毫米

高度:1.71 英吋/43.5 毫米

深度:20.27 英吋/515 毫米

重量:23.96 磅/10.87 公斤

環境建議 工作溫度:0°C 至 45°C(32°F 至 113°F)

工作濕度:5% 至 95%,非冷凝

這些負載平衡器節點本質上是基於 Linux 的高速 100GbE 交換機,由 Myriad 軟體完全管理。 它們有雙重用途:每個負載平衡器節點上的一些連接埠用於互連叢集內的儲存節點。 相比之下,其他的則致力於外部網路連線。

對於採用最多十個儲存節點的系統來說,兩個負載平衡器節點就足夠了。 擴展到 20 個儲存節點需要增加另一對負載平衡器節點來適應此擴展。 隨著更多儲存節點的引入,超過 20 個節點的閾值,額外的負載平衡器節點和關聯的主幹節點將整合到基礎設施中。 儘管隨著更高密度交換器和更快網路速度的出現,所需的連接和負載平衡器節點數量可能會不斷變化,但基本概念仍然保持一致。

部署節點? 簡單的

Myriad 操作簡單性的基石之一是部署節點。 與負載平衡器節點一樣,該節點建構在基於 Linux 的平台上,但以 1GbE 運行。 部署節點在系統的初始設定中扮演關鍵角色。

部署節點規格

外形 1U 48 連接埠 1 GbE 智慧光纖交換機,具有第 3 層路由功能和 Myriad 軟體
系統連結 48 個 1 GbE RJ45 乙太網路連接埠 3 Tbps 全雙工的第 6.4 層轉送 線速靜態和動態位址轉換,無延遲,雙重 NAT 和 BGP 路由
電源和冷卻 冗餘、負載共享、熱插拔電源 熱插拔 2+1 冗餘風扇
尺寸和重量 高度:1.73 英吋/440 毫米 深度:18.66 英吋/474 毫米 重量:16.91 磅/7.67 公斤
環境建議 工作溫度:0 °C 至 45 °C(32 °F 至 113 °F) 工作濕度:5% 至 95%,非冷凝

部署節點的任務是在初始部署階段安裝和配置叢集內的所有其他節點。 它充當編排中心,指導新的裸機節點安裝其作業系統、Kubernetes 和 Myriad 軟體組件,並將它們無縫整合到叢集中。 此外,當需要軟體更新時,部署節點會以捲動方式管理這些更新,以防止任何中斷或停機。

值得注意的是,包含少於 20 個儲存節點的叢集只需要一個部署節點。 儘管這可能看起來是潛在的“單點故障”,但事實並非如此,因為部署節點並不位於資料路徑中。 因此,即使部署節點發生故障,I/O 也不會中斷,因此資料保護和效能不會受到影響。

擴充 – 需要零點擊

Myriad 推出了一項突破性的功能,稱為「零點擊」儲存擴展,以簡化儲存容量的增加。 若要增加儲存容量,只需新增更多儲存節點即可。 過程極為簡化:新節點拆箱、安裝在機架中、透過電纜連接並通電。

如上所述,部署節點承擔識別這些新新增的節點的角色。 它確保他們獲得必要的軟體配置並將其無縫整合到現有集群中。 值得注意的是,此過程不需要連接到控制台連接埠、啟動使用者介面或為 IP 位址分配或 DNS 重新配置提出網路團隊票證。 動態糾刪碼(EC)機制立即開始在所有新舊節點之間分發資料。

借助 Myriad,儲存擴展成為自動化的典範,消除了任何手動幹預或配置的需要。

多種網路方式

Myriad 網路中最具挑戰性的部分是找到一個免費的 IP 位址。 就是這樣。

Myriad 使用典型的網路元素,但利用 RDMA 和 Kubernetes 的先進技術來滿足其他網路要求。 由於 Myriad 是一個完全整合的自配置系統,因此客戶自行接線的零件為零。 內部叢集網路是自動配置的,並且對客戶不可見。

一旦初始叢集配置完成,無論叢集擴展多大,都需要單一 IP 位址來進行資料 I/O 和管理。

內部集群連接

您可能想知道如何在不重新配置叢集的情況下新增這些額外的節點。 簡單的。 叢集節點使用具有 RDMA 的 100GbE 無損網路和用於部署功能的 1GbE 網路互連。 安裝時,客戶為內部網路提供不可路由的子網,或可以接受預設值 172.16/16。 所有叢集節點和 Kubernetes Pod 內部介面都指派了該子網路範圍內的位址。 現在,當新節點新增至叢集時,會自動指派 IP 位址。

為了將內部叢集網路與資料中心網路的其餘部分隔離,負載平衡器節點運行網路位址轉換 (NAT)。 當封包從 Myriad 傳出時,內部來源位址和連接埠號碼會對應到外部 IP 和端口,傳入封包的外部來源位址和連接埠號碼會轉換為內部 IP 和連接埠。

負載平衡器節點使用稱為等價多路徑路由 (ECMP) 的技術將傳入連線分散到所有儲存節點。 這將工作負載劃分到叢集中,而不會出現循環 DNS 的延遲和配置問題。

外部集群連接

與外部叢集的連接仍然需要一個子網,但需要一個小得多的子網,支援三個IP 位址:一個入口IP 用於所有資料流量和管理,兩個出口IP 用於NAT(每個負載平衡器節點一個)。 如果叢集儲存節點數超過XNUMX個,則需要額外分配IP。 Myriad 的外部網路使用邊界閘道協定 (BGP)。 由於其簡單性和穩健性,BGP 已成為資料中心內路由組織的最愛。

量子無數連通性

BGP 是運行 Internet 的路由協議,ISP 使用它來交換路由資訊。 BPG 連接 ISP 的自治系統,由唯一的公共自治系統編號 (ASN) 表示。 Myriad 叢集中的 BGP 是一個自治系統,其 ASN 來自客戶分配的專用範圍。 配置為使用 ECMP 未編號的 BGP 的客戶交換器連接到面向 Myriad 的連接埠。 ECMP 為所有 Myriad 負載平衡器節點介面上的傳入連線提供負載平衡。

憑藉其雲端原生設計,Myriad 的架構使得在 AWS 等公有雲基礎架構上的部署變得簡單。 雲端部署可以利用底層雲端平台服務,但核心軟體和體驗將與在資料中心運行 Myriad 相同。

鑑於 Myriad 軟體使用專為 Linux 作業系統設計的容器,因此 Myriad 可以與幾乎任何雲端環境無縫整合。 許多儲存供應商正在解耦其硬體和軟體以促進雲端部署。 然而,Quantum 憑藉 Myriad 已經走在了前面。 這使他們在前進中具有巨大的靈活性。 有趣的是(這純粹是我們的猜測)Myriad 可能與基於 ARM 的雲端實例異常相容,例如 AWS 流行的 Graviton 實例。 如果昆騰能夠利用這一點,它可以透過在最具成本效益的雲端實例上運行來獲得顯著的優勢。

使用者可以依靠現代化的 GUI 介面來控制和配置 Myriad。 此外,全面的 API 支援正在醞釀中,以實現客製化自動化。 對於傳統監控,SNMP 和 sFlow 是現成的選項。

多種部署

無數的簡單性始於讓客戶輕鬆部署叢集。 客戶只需確保其交換器支援 BGP ECMP。 大多數交換器都提供 BGP,但可能需要啟用。 否則,客戶只需為叢集配置一個IP。

一旦節點安裝完畢、堆疊並通電,就可以透過附帶的直覺管理工具設定 Quantum Myriad 叢集來進入有趣的部分了。 Quantum 提供了易於遵循的配置和設定流程,可協助使用者快速啟動並運行。

初始化小型叢集部署可能需要不到五分鐘的時間。 您已進入九步驟計劃。

客戶查看最終用戶許可協議 (EULA) 後,下一步就是初始化叢集。 這些欄位已被填寫並呈現以驗證準確性。 點擊“下一步”將使用戶進入“建立密碼”畫面。

建立並確認密碼後,下一步是設定 NTP。

如果系統有訊息,大多數螢幕都已預先填入。 現在,是時候啟動並運行叢集了。

Quantum 完成了此設定的所有工作。 系統已根據從節點提取的資訊填充此畫面。 管理員可以在配置每個節點時監控初始化過程。

Quantum Myriad 提供了可用於叢集的軟體清單。 客戶可以安裝全部或僅部分軟體。

軟體安裝完成後,您可以輕鬆退出安裝、返回畫面或選擇「下一步」繼續。

如果所有資訊都正確,按一下「完成」將套用所有變更。

接下來是叢集登入畫面。

如果登入成功,將向使用者顯示新安裝的叢集的狀態。

無數的管理和行政

Myriad 利用其他 Quantum GUI 投資中實現的現代圖形使用者介面。 成功登入後,用戶將看到一個易於閱讀的儀表板,其中包含快速導航到所需功能或警報的選項。

上圖是 Quantum Myriad 管理儀表板的截圖。 其他 Quantum 系統的外觀和感覺是一致的。

此視圖為使用者提供了系統中節點的互動式影像。 儘管在此捕獲中不可見,但用戶可以向上或向下滾動以獲取叢集的儲存、負載平衡器和部署節點的狀態。

在管理 GUI 中導航非常簡單。 螢幕左側的面板引導使用者了解叢集內的詳細信息,而頂部的選項提供更詳細的視圖,例如上面顯示的叢集效能詳細資訊。

可以從集群顯示中查看延遲。

從左側面板中選擇“驅動器”可提供用於查看各個驅動器詳細資訊的選項。

管理工具將提供整體節點元件的健康狀態。

關閉的思考

Quantum Myriad 成為不斷發展的資料管理領域現代化和適應性的燈塔。 其架構不僅能夠以卓越的流動性擴展和保護數據,而且還提供了一個具有前瞻性的開發平台,可無縫移植到雲端和各種底層硬體系統。

憑藉對未來的願景,昆騰制定了雄心勃勃的發展路線圖。 E協定支援和數據服務的增強 是 在地平線上 - 包括備受期待的物件支持-含義 量子完全有能力重新定義產業標準。 儘管昆騰擁有遠大的願景和積極的路線圖,但他們完全願意根據客戶需求和採用規模進行調整。 他們在這方面還具有一些工程優勢,因為他們可以利用他們在儲存和 IP 方面的豐富經驗。 隨著 Quantum 快速提供更多功能,Myriad 應該能夠保持動態。

量子無數節點緊

此外,昆騰對現代雲端概念的創新應用,例如在部署過程中利用 OCP 交換機,強調了他們對速度和使用者友善性的承諾。 所有跡像都表明 Myriad 資料管理的未來是安全的且前景廣闊。 我們認為 Quantum Myriad 是快速文件和物件儲存領域令人興奮的新進入者,並且對該系統的簡單性和彈性印象深刻。

從量子和 在此處設定演示或 POC

無數的數據表

無數的建築

本報告由量子贊助。 本報告中所表達的所有觀點和意見均基於我們對所考慮產品的公正看法。

參與 StorageReview 

電子報 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | 的TikTok | RSS訂閱