VAST資料 已宣布支持名為 Ceres 的下一代存儲平台。 在 VAST 的通用存儲數據平台的支持下，Ceres 是利用最新的硬件技術構建的，例如 NVIDIA BlueField DPUs（數據處理單元）。 在存儲方面，Ceres 利用成本優化且高密度的 Solidigm EI.L 標尺閃存驅動器和存儲級內存 (SCM) SSD。 硬件組合構成了全新的 VAST 數據節點 (DNode)，可提高性能、簡化可維護性並降低數據中心成本。
VAST資料 已宣布支持名為 Ceres 的下一代存儲平台。 在 VAST 的通用存儲數據平台的支持下，Ceres 是利用最新的硬件技術構建的，例如 NVIDIA BlueField DPUs（數據處理單元）。 在存儲方面，Ceres 利用成本優化且高密度的 Solidigm EI.L 標尺閃存驅動器和存儲級內存 (SCM) SSD。 硬件組合構成了全新的 VAST 數據節點 (DNode)，可提高性能、簡化可維護性並降低數據中心成本。
VAST Data Ceres 1U DNode
根據 CMO 和聯合創始人 Jeff Denworth 的說法，VAST 的核心任務是簡化基礎架構，使其更易於部署和管理，同時更具成本效益。 VAST 著手製作一個數據管理系統，並構建一個可以簡單且經濟高效地擴展的系統。 關鍵是構建一個基於閃存的系統，該系統將滿足性能需求、壽命長且成本低。
我們花了幾天時間使用 VAST Data 來更好地了解這一切是如何組合在一起的。 畢竟，VAST 是一家軟件公司。 在過去，這意味著兼容硬件是由客戶或系統集成商從兼容列表中選擇出來的。 VAST 的工作方式略有不同。 VAST 的硬件合作夥伴 AVNET 將硬件組合在一起，但最終解決方案感覺更像是一種設備，而不是傳統的軟件定義存儲。
最終，運行 VAST 通用存儲平台的硬件的進步是一個主要的差異化因素。 利用 NVIDIA BlueField 等新興數據傳輸技術的能力使硬件非常獨特。 除了少數或更少的初創公司之外，自閃存和混合存儲陣列推出以來，數據存儲架構確實沒有發生根本性轉變。 隨著 VAST Ceres DNodes 的推出，這種創新的萎靡不振在今天很明顯地結束了。
浩浩蕩盪
新架構的創建是為了解決可擴展性問題，並消除對訪問大量驅動器的無狀態容器的需求，以及必須相互協調 I/O 操作的必要性。 所以VAST設計了DASE， 分解共享一切，一種存在於 VAST NVMe 機櫃中的低成本閃存中的數據結構。
VAST 系統形成一個集群和一個存儲池，存儲櫃包含不同數量的不同大小的 SSD 和具有不同內核數甚至不同 CPU 架構的前端服務器。 這允許 VAST 用戶無縫地運行具有多代 VAST 硬件的集群。
在 VAST 的 DASE 架構中，所有的 SSD 由所有前端協議服務器通過 NVMe-oF 共享和直接尋址。 VAST 的數據放置方法在設備上運行，而不是節點/機櫃級別。 系統根據系統中所有 SSD 的性能、負載、容量和耐用性選擇 SSD 寫入每個糾刪碼條帶。 此負載在容納不同容量和性能級別的 SSD 的機櫃之間進行平衡。
該系統通過解析 DNS 請求並將系統內務管理分片分配給 CPU 使用率最低的協議服務器，從而在不同性能級別的前端協議服務器之間實現類似的負載平衡。
所有這些都允許 VAST 集群跨多代異構協議服務器、機箱和 SSD 創建一個單一的、負載均衡的命名空間。 VAST 用戶只需將新服務器和/或機櫃加入到他們的集群中，並在設備使用壽命結束時將其逐出。
VAST 服務器是無狀態容器，可在標準 x86 服務器中運行 VAST 集群的所有邏輯。 使用 NVMe over Fabrics，每台服務器都可以像 DAS 一樣以低延遲訪問每個 NVMe 閃存和存儲級內存存儲設備。
容器使得將 VAST 部署和擴展為軟件定義的微服務變得簡單，同時也為更具彈性的架構奠定了基礎，在該架構中，容器故障不會中斷系統運行，從而形成世界上第一個網絡規模的“分解、共享一切”建築學。
VAST NVMe 機櫃是高可用性、高密度閃存存儲 JBOF。 存儲處理責任已與 VAST 機櫃分離，因此系統被分解。 由於系統中沒有運行邏輯，組織可以獨立於計算來調整存儲容量，以調整其環境的大小。 由於該系統是完全容錯的，集群可以從一個機櫃開始構建，也可以擴展到超過 1,000 個機櫃。
不僅要解決所有系統相互通信的需求，而且要線性擴展，這一點也很重要。 新系統旨在使用稱為全局代碼的算法從閃存驅動器中獲得最大效率。 VAST 在使用內存和閃存組合通過系統時使用形狀寫入，從而消除了閃存磨損。 VAST 使用其通用存儲軟件實現了兩倍的閃存壽命（超過 SSD 供應商保修）。
VAST 的重點不是最終性能，而是基礎架構成本和整合帶來的簡單性優勢。 VAST 為每個數據中心、每個應用程序和每個用戶提供民主化的閃存。 由於性能不是最終目標，VAST 意識到從 PB 級到 EB 級的彈性、經濟實惠的閃存容量的聚合閃存性能將支持現代計算議程。 IOPS 和帶寬現在是閃存容量的副產品，一切都變得“足夠大”。
VAST 已發展成為一家高級存儲供應商，繼續保持閃存不可知論。 最初的 VAST 硬件是一個 2U 機架式，可以容納 1.3PB 閃存，而最新型號是一個 1U 機架式單元。 這讓我們想到了 Ceres 以及與 NVIDIA 的合作。
NVMe-oF 和通用存儲
VAST 解決方案的一個關鍵方面是高級軟件工程。 大數據、機器學習和深度學習等數據驅動的應用程序需要提供更多數據才能發揮作用。 將數據從閃存分層到存檔會導致應用程序無法學習。 儘管硬盤驅動器一直被認為是具有成本效益的數據存儲介質，但它們也伴隨著成本。 硬盤驅動器即使在密度增加時也以恆定速率運行，從而導致性能下降。
矽存儲，又名閃存，旨在消除 HDD 介質固有的性能下降。 然而，閃存技術的創新並沒有跟上企業對密度和性能的需求，迫使客戶不斷妥協。 從歷史上看，企業閃存系統的成本遠高於基於 HDD 的存儲，因此閃存僅用於最有價值的數據。
VAST 決定通過將新的存儲算法與新技術相結合，使所有數據的閃存存儲基礎設施民主化來解決這個問題，挑戰關於如何構建和部署存儲的基本假設。 解決方案是以存儲級內存速度寫入，以 NVMe 速度讀取，並擴展到數百萬 IOPS 和 TB/s。 NVMe-over-Fabrics (NVMe-oF) 使商用數據中心網絡能夠轉變為可擴展的存儲結構，將 NVMe DAS 的性能與共享存儲基礎設施的效率相結合。
Solidigm E1.L 固態硬盤
為了滿足成本/性能需求，QLC 閃存將實現 VAST 概念的經濟目標，同時提供 NVMe 閃存性能來為世界上要求最苛刻的應用程序提供動力。 四級單元 (QLC) SSD 是閃存密度的第四代和最新一代，因此製造成本最低。 QLC 在相同空間內存儲的數據比三級單元 (TLC) SSD 多 33%。
雖然 QLC 將每 GB 閃存的成本降低到前所未有的低水平，但在每個單元中壓縮更多位是有成本的。 每一代連續的閃存芯片都通過在單元中安裝更多位來降低成本，並且耐用性較低，在較少的寫入/擦除週期後就會磨損。 各代閃存的耐用性差異巨大。 第一代NAND（SLC）可以覆蓋100,000次，QLC耐久度低100倍。 這是一個重要的權衡，這就是為什麼使用 QLC SSD 的存儲供應商必須以創造性的方式這樣做。
VAST的通用存儲 系統旨在通過使用與低成本 QLC SSD 的內部幾何結構一致的新數據結構和用於吸收寫入的大型存儲類內存寫入緩衝區，提供時間和空間來最大程度地減少閃存磨損，從而最大限度地減少閃存磨損。 該組合使 VAST Data 能夠為 QLC 閃存系統提供 10 年保修，從而對系統所有權經濟產生積極影響。
存儲類內存
利用位於閃存和 DRAM 之間的新型非易失性存儲介質，存儲級內存是使 QLC 在企業環境中部署成為可能的支持技術。
存儲類內存是一種持久性內存技術，與 SSD 中使用的 NAND 閃存相比，延遲更低且更耐用，同時保留了閃存在無需外部電源的情況下持久保留數據的能力。 通用存儲系統使用存儲類內存作為高性能寫入緩衝區，以便為系統的數據存儲和全局元數據存儲部署低成本的 QLC 閃存。
鎧俠 FL6 SCM SSD
通用存儲集群包括數十至數百 TB 的存儲級內存容量。 與 DRAM 相比，VAST DASE 架構的優勢包括極低的延遲、100% 的持久性和低成本。 雖然 VAST 目前支持英特爾和鎧俠的 SCM SSD，但該平台能夠支持其他上市的驅動器。
通用存儲圖形用戶界面
存儲管理領域的獨特之處在於訪問用於配置、管理和維護存儲介質的 GUI。 Universal Storage 系統提供了一個 GUI 界面，使存儲管理員的工作更加輕鬆。 這種性質的系統往往是 CLI 驅動的，因此易於使用的界面是 VAST 的一個重要區別。
此顯示顯示每個驅動器的估計可用容量。 左欄允許管理員選擇任何可用的功能。 圖中的每個“切片”都顯示了驅動器使用情況，右側提供了這些切片的詳細信息。 驅動器使用類型是可用容量。
儀表板顯示詳細信息，包括容量、物理和邏輯使用情況、整體性能，以及底部的讀/寫帶寬、IOPS 和整體延遲。
數據流顯示就是這樣一個有用的工具。 它顯示了用戶來源、主機 IP、Vip、CNode 和目的地。 通常，這將通過命令行為沿途的每條路徑執行，沒有圖形顯示。 僅此屏幕就可以通過跟踪每個用戶的數據路徑來減少故障排除。
GUI 還可以選擇顯示硬件的前視圖和後視圖。 Ceres 前視圖的屏幕上會顯示所選驅動器的輪廓。 直觀的視覺指示器還有助於在需要更換 SSD 時提高可維護性。
在同一屏幕上，可以從服務器後部選擇正在使用的 SSD 之一。
VAST Data Ceres DPU
新的 Ceres 存儲平台概念開創了 NVIDIA BlueField DPU 和基於標尺的超大規模閃存驅動器，作為可擴展數據集群的分解構建塊。 VAST 的通用存儲支持 Ceres 的下一代高性能 NVMe 盤櫃。
英偉達處理器
VAST Data 的首席營銷官 Jeff Denworth 解釋道；
“一年前，我們向行業分享了我們對超大規模數據基礎設施的願景，我們對行業合作夥伴對這一願景的合作和支持感到驚訝。 雖然爆炸性的數據增長繼續壓倒那些在海量數據儲備中尋找價值的挑戰越來越大的組織，但 Ceres 使客戶能夠在構建到 SuperPOD 規模及更高規模時，實現對所有數據進行大規模人工智能和分析的未來。”
VAST 和行業合作夥伴設計的 Ceres 旨在將存儲推進到現代 AI 時代，帶來新的速度、彈性、模塊化和數據中心效率。 VAST 的使命是為企業和服務提供商配備新功能，而這些新功能原本是世界上最大的超大規模雲提供商的專有領域，而 Ceres 進一步推進了這一使命。 VAST Universal Storage 軟件為新的硬件平台提供支持，使客戶能夠採用尖端技術。
這個新平台提供了更高的性能、改進的功率和空間效率。 利用 NVIDIA BlueField DPU 技術可以構建 NVMe 機箱，而無需大型、耗電的 x86 處理器。 通過將 NVMe-oF 服務從 x86 服務器過渡到 BlueField DPU，NVIDIA 技術使開發能夠提供每個機箱超過 1GB/s 性能的 60U 外形成為可能。 VAST 的 DASE 架構旨在通過將存儲處理與閃存層分離來利用基於 DPU 的系統。
VAST Data Ceres 硬件佈局
第一眼或第二眼，VAST Ceres 看起來就像一個典型的 1U 服務器，帶有非常光滑的邊框。 時尚的面板專為氣流而設計，但它甚至可以在通電時以一些涼爽的照明點亮前置 SSD。 VAST 標誌還以其配色方案點亮，這是一種很好的美感。 對外部細節的關注貫穿於內部結構，揭示了一個絕非典型的存儲服務器。
拆下邊框後，您終於開始看到這台服務器的真正獨特性和閃存密度。 前期是 22 個 E1.L SSD，在本例中是 22 個 15.36TB 或 36.72TB Solidigm P5316 SSD。 這些驅動器還提供更大的 2.5" U.2 外形規格，但每個機架單元的密度大大降低。 E1.L SSD 在散熱方面也有明顯的優勢，超長的機身設計提供了很大的表面積來散熱。
E1.L 外形非常長，因此稱為“標尺”。 它們的長度剛好超過 12.5 英寸，這讓您可以了解它們僅在服務器的第一英尺就佔據了多少空間。 現在，雖然幾乎 340TB 或 675TB 的 QLC 閃存（取決於所選的驅動器）是無可挑剔的，但在服務器的中間組件後面還有更多的閃存。 值得注意的是，這只是 QLC 驅動器的原始存儲空間； VAST 在頂部提供數據縮減以獲得更好的密度。
前面的標誌塊隱藏了另外四個 SSD 托盤，並作為機箱前面的一個整體冷卻組件。 這個塊有三個風扇，它們通過位於這個特定 DNode 中心的 KIOXIA SCM 閃存在機箱中心提供額外的冷卻能力。
四個托盤中的每一個都裝有兩個 2.5" U.2 SSD，在這個系統上是 KIOXIA 的 FL6 800GB SSD。 VAST 使用這些作為寫入緩衝區來吸收傳入數據，然後將其過濾到圍繞它們的更高密度 QLC 閃存中。 這台 1U 服務器上沒有未充分利用的空間，沒有以某種方式利用更多的存儲容量。
VAST Ceres 底盤的後視圖顯示它已設計為具有雙電源和雙控制器的完全冗餘。 每個控制器都裝有兩個 NVIDIA BlueField BF1600 DPU，每個 DPU 都提供雙 100GbE 端口。 總的來說，在兩個控制器中，用戶擁有 800Gb/s 的連接速度。 每個控制器都有兩個用於管理的 1GbE 端口和一個用於直接 BMC 訪問的微型 USB 端口。
每個控制器底座的內部設計也確實沒有留下任何未使用的空間。 每個 NVIDIA BF1600 DPU 通過 x16 PCIe Gen4 插槽連接，額外的電源通過機箱外部卡外的小籠子路由。
雖然 VAST Ceres 內部設計看起來有點像傳統的服務器 sled，但它沒有底層服務器 x86 或類似的服務器設計。 每個控制器實際上是一個大型 PCIe 交換機，將 DPU 連接到內部和前端可訪問的存儲。 雖然 NVIDIA BF1600 DPU 確實為 BIOS 和操作系統提供 16GB eMMC 存儲，但 VAST 設計為通過每個 sled 兩個 m.2 SSD 在額外的內部 DPU 存儲中。
查看 VAST Ceres 的框圖確實有助於描繪出該系統的設計方式的最佳圖景。 前面有兩組 SSD 和 NVRAM/SCM 驅動器，然後在每個控制器底座內的兩個 DPU 之間分配。 每個 sled 都是一個大型 PCIe 交換機，將 NVMe PCIe 存儲直接引導到安裝在其中的兩個 NVIDIA DPU。 還有一些附件組件也涉及該結構，例如 BMC、管理 NIC 和 M.2 SSD。
這是算法
如上所述，Ceres 採用新的基於標尺的高密度 SSD，可提供超高密度閃存容量配置。 隨著時間的推移，基於標尺的閃存驅動器具有更大的表面積，預計將比傳統的 NVMe 驅動器包含更多的閃存容量。 VAST與合作夥伴 固晶 證明他們的 15TB 和 30TB 長標尺可在 675U 機架空間中提供高達 1TB 的原始閃存。
Solidigm 在 SK 海力士收購英特爾 NAND 和 SSD 技術後於 2017 月推出。 Solidigm 作為 SK 海力士公司的獨立美國子公司運營。新子公司位於聖何塞，負責管理所收購英特爾資產的產品開發、製造和銷售。 Intel/Solidigm “ruler”外形規格於 1 年推出，正式名稱為 E1.L 和 E1.S。 Solidigm 提供了具有這種外形設計的廣泛產品組合，並具有針對高密度存儲 (E1.L)、可擴展性能 (E2.S) 和主流 3U 服務器 (EXNUMX) 的靈活優化選項。
借助 VAST Data 基於相似性的數據縮減算法，Ceres 可以以平均 2:3 的數據縮減率管理每個機櫃近 1PB 的有效容量。 此外，VAST 的寫入整形技術可延長 QLC 閃存的耐用性。 同時，先進的糾刪碼也大大加快了重建超大容量存儲設備的時間。
Ceres 旨在解決客戶在處理高密度存儲系統時遇到的許多問題。 該系統設計為前後均可維修，無需電纜管理，也無需將系統滑入和滑出機架。
Ceres 平台以 338TB 的最小容量入口點降低了前期硬件成本，同時支持無縫集群擴展到數百 PB。 用更少的硬件提高了機架規模的彈性，以在通用存儲集群中實現全封閉故障轉移。 客戶可以靈活地將 Ceres 與上一代 VAST 支持的硬件混合搭配，以實現無限的集群生命週期。
NVIDIA 副總裁兼 DGX 系統總經理 Charlie Boyle 在談到為 NVIDIA 客戶帶來的好處時說：
“企業級別的簡單性和彈性是 NVIDIA 的關鍵成功因素，因為 AI 基礎設施在全球範圍內得到廣泛採用。 我們與 VAST 合作是因為他們架構的性能、成本效益和簡單性可以滿足 DGX SuperPOD 解決方案和依賴它的客戶的需求。 VAST Universal Storage 和 Ceres 平台還使 NVIDIA 客戶能夠在 AI 數據中心端到端地實現 NVIDIA DPU 的優勢，以及由 BlueField 創新提供支持的卓越性能、安全性和效率。”
VAST 和 NVIDIA SuperPod 等
VAST 和 NVIDIA 還在合作開發新的存儲服務，以通過客戶端 DPU 實現零信任安全和卸載功能，例如最近宣布的 NVIDIA DGX SuperPOD 配置中引入的那些。 作為與 NVIDIA 合作的一部分，VAST 正在為 NVIDIA DGX SuperPOD 認證 Ceres。 SuperPOD產品專為大規模AI工作負載而設計，匯集了高性能存儲和網絡，為企業客戶提供一站式AI數據中心解決方案。
SuperPod 超級計算基礎設施旨在解決行業向 AI 的轉型，部署為一個完全集成的系統。 在 VAST 的 DASE 支持下，Ceres 是 SuperPod 的數據平台基礎。 該 Ceres 平台設計最初將由 AIC 和 Mercury Computer 等 VAST 設計合作夥伴製造。 它將作為 VAST 通用存儲集群的數據容量構建塊。
借助 Ceres，NVIDIA 客戶現在可以通過系統架構享受 NAS 解決方案的簡單性以及無限的規模和性能，該系統架構從根本上提高了存儲彈性，VAST 在 EB 級生產數據中的 99.9999% 可用性記錄證明了這一點。 憑藉全閃存性能和存檔存儲經濟性，VAST 將使 NVIDIA DGX SuperPOD 客戶輕鬆擴展其 AI 訓練基礎架構以支持 EB 級數據，而無需為傳統分層存儲架構強加的性能和容量權衡而煩惱。 閱讀此處，詳細了解 VAST 如何簡化 DGX SuperPOD 上的擴展 AI 開發。
NVIDIA DGX SuperPOD 的 VAST 數據通用存儲認證計劃於 2022 年中期推出。
結論
擁有一些世界上最大的計算環境的組織已經選擇了 Ceres。 VAST 已收到軟件訂單，支持在 Ceres 平台上部署超過 170PB 的數據容量。
雖然 VAST 首先是一家軟件公司，但硬件提供了一個有趣的視角，讓我們了解企業存儲市場的前景。 雖然一些供應商仍在沿著使用傳統服務器方法圍繞 x86 硬件構建平台的道路前進，但 VAST 正在走一條不同的道路。 多年來，傳統的服務器模型表現良好，儘管隨著存儲和網絡組件的發展，存儲服務器設計也必須如此。
VAST Data Ceres DNodes 將高達 675TB 的 QLC 閃存（數據壓縮前）和 6.4TB 的 SCM 與四個 NVIDIA BlueField DPU 相結合，在 800U 機箱中提供高達 1Gb/s 的連接速度。 這可以通過切斷中間人（在本例中是 x86 服務器）並將其替換為 PCIe 交換結構以將 22 個 E1.L 和 8 個 U.2 SSD 直接鏈接到四個 DPU 來實現。 由於 DPU 執行繁重的工作並在上面安裝 VAST 軟件，因此幾乎不需要額外的工作。
雖然我們非常喜歡 VAST Data Ceres 的硬件創新，但軟件讓一切變得不同。 寫入整形以保護 SSD 耐用性、數據縮減以多次擴展容量以及簡化標準功能的 GUI 只是最熱門的話題。 使用 VAST，最終結果是一個功能驚人的集群，由於數據節點平台上的所有創新，它帶來了有益的成本經濟。 任何組織不僅希望處理龐大的數據，而且希望根據分析提供的洞察力做出業務決策，最好安排一個 VAST 數據演示 立即使用
本報告由 VAST Data 贊助。 本報告中表達的所有觀點和意見均基於我們對所考慮產品的公正看法。
參與 StorageReview
電子通訊 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | Facebook | 的TikTok | RSS訂閱
