技嘉科技是一家知名的計算機相關硬件組件和系統製造商，通過與 Bigtera 合作提供獨特的高性能軟件定義存儲解決方案，從而進軍數據存儲市場。 技嘉提供硬件，配合Bigtera的VirtualStor軟件平台提供一系列存儲設備，以滿足不同的容量和性能需求。 雖然大多數人都熟悉 GIGABYTE（已經營 30 多年），但 Bigtera 對某些人來說可能是一個新名稱。 Bigtera 成立於 2012 年，擁有兩個開發中心和一百多個在生產環境中運行 VirtualStor 的客戶。
技嘉科技是一家知名的計算機相關硬件組件和系統製造商，通過與 Bigtera 合作提供獨特的高性能軟件定義存儲解決方案，從而進軍數據存儲市場。 技嘉提供硬件，配合Bigtera的VirtualStor軟件平台提供一系列存儲設備，以滿足不同的容量和性能需求。 雖然大多數人都熟悉 GIGABYTE（已經營 30 多年），但 Bigtera 對某些人來說可能是一個新名稱。 Bigtera 成立於 2012 年，擁有兩個開發中心和一百多個在生產環境中運行 VirtualStor 的客戶。
Bigtera VirtualStor 系列由三個不同的產品線組成——Scaler、Converger 和 Extreme——每個產品線都是部署在標準 x86 架構上的軟件定義存儲解決方案。 Scaler 是混合橫向擴展解決方案的數據存儲； Converger 是一種存儲解決方案，可用於通過與 VMware、Hyper-V 或 KVM 配對來創建超融合基礎架構； Extreme 是一種全閃存橫向擴展存儲解決方案，旨在為需要持續低延遲並消耗大量帶寬的應用程序提供 I/O。 在此深入研究中，我們將研究 VirtualStor Scaler 解決方案。
VirtualStor Scaler 是一種橫向擴展存儲解決方案，而不是縱向擴展或超融合基礎架構 (HCI) 解決方案，這意味著隨著需要更多存儲容量，可以將更多磁盤或節點添加到 VirtualStor Scaler 存儲集群。 換句話說，您為數據中心獲得了正確的存儲量，可以根據當前情況進行修改。 這種靈活性有效地消除了硬件的過度配置（擴展解決方案的要求）和使用 HCI 解決方案時增加更多計算能力（無論是否需要）的需要。
技嘉為 VirtualStor Scaler 系統提供六種不同的平台。 在頻譜的一端，針對較小的用戶進行了優化，是一個具有 48TB 可用存儲容量的系統，該系統由三個 1U 節點組成。 另一方面，針對需要處理海量數據的客戶，是一個可以存儲4PB數據，由4個XNUMXU節點組成的系統。 為了確保這些系統的質量，技嘉使用了自己的頂級服務器，這些服務器配備了雙 英特爾第二代至強可擴展 CPU 以滿足這些存儲節點的計算需求。 對於數據存儲，VirtualStor 存儲設備結合使用 HDD 和 NVMe 或 SATA SSD 緩存驅動器。 為保證數據不斷從設備流出，節點使用英特爾 SFP+ 和 NIC，離線節點管理通過 Aspeed 遠程管理控制器完成。
VirtualStor 縮放器存儲協議
當今的數據中心必須提供存儲，以盡可能快速且經濟高效地滿足要求苛刻且多樣化的用戶組的需求。 為了滿足數據中心的多樣化存儲需求，VirtualStor 支持來自單個統一存儲池的所有常用存儲協議（NAS、SAN 和對象存儲）。 為確保滿足性能要求，存儲可以將服務質量 (QoS) 屬性應用於文件、文件夾或卷。 可以在文件夾或卷的基礎上應用配額，以防止用戶或應用程序過度消耗存儲空間。
VirtualStor 旨在可靠且始終如一地為要求最苛刻的應用程序提供性能需求。 他們實現這一目標的方法之一是 VirtualStor 後端存儲引擎 BigteraStore 如何處理數據放置。 BigteraStore 使用閃存設備進行數據緩存，並將小數據塊整合併合併為較大的順序塊。 這不僅在處理隨機數據時對 VirtualStor 系統的性能產生巨大影響，還通過減少對閃存設備的寫入來延長設備的使用壽命。 BigteraStore 還通過識別順序數據（以更大的數據塊形式傳送）來提高其存儲系統的性能，並將這些數據直接讀寫到其硬盤驅動器上。 由於將順序數據直接流式傳輸到硬盤不會遭受與將隨機數據讀寫到硬盤驅動器相同的性能損失，因此這也保留了昂貴的閃存設備的容量，用於隨機數據影響最大的地方。
VirtualStor Scaler 閃存使用
數據效率、保護和彈性是當今現代存儲解決方案必須解決的三個因素，而 VirtualStor 使用最新的技術和工具來提供強大、高效的解決方案來解決這些因素。
任何存儲系統最重要的特性是能夠保護存儲在其上的數據的完整性。 為此，VirtualStor 支持數據複製、擦除編碼、RAID、錯誤檢測和損壞數據的自我修復。 由於數據在許多不同的存儲節點上進行複制和平衡，在硬件組件或服務器出現故障的情況下，另一個存儲節點將無縫接管，並且在大多數情況下，用戶或應用程序甚至不會意識到發生了故障. 一旦發現並更換了故障組件，它將自動集成回系統中。 您可以使用英特爾 AES-NI 加密技術保護 VirtualStor 上需要最大程度保護的敏感數據，當然，其他安全性較低的數據可以在 VirtualStor 存儲設備上以未加密狀態保留。
VirtualStor Scaler 架構概述
在決定使用哪種存儲解決方案時，大多數用戶經常忽視的一個因素是難以劃分出底層存儲以供使用。 所有 VirtualStor 存儲，無論類型或協議如何，都來自一個可以有效過度配置的池，這一事實消除了重新配置底層存儲以使其可用的耗時任務，以及孤島或孤島，已配置但未使用的存儲。
VirtualStor 縮放器儀表板
如果存儲解決方案的可管理性困難或低於標準，那麼存儲解決方案的價值可能會降至最低，但幸運的是，VirtualStor 通過提供直觀、現代、基於 Web 的管理控制台，使其存儲管理變得容易。 過去，我們看到一些遺留的統一存儲系統宣傳有一個單一的管理控制台，但仔細觀察，管理控制台只是由來自不同系統的管理組件組成，作為管理控制台上的功能。 不幸的是，這種情況會導致混淆，因為存儲組件使用了不同的術語，並且根據所管理的存儲類型需要不同的工作流程——至少可以說，這是一種處理存儲的複雜且令人困惑的方式。
我們還看到了需要命令行交互才能完成常見任務的存儲系統，其中不正確的輸入可能會導致災難性的結果。 相反，使用 VirtualStor 設備，處理日常系統管理的所有工作流都是基於 GUI 的，不需要命令行交互。 此外，由於它們從一開始就支持多協議——而不是事後才想到——它們不會受到傳統的附加功能的阻礙，這使得 VirtualStor 的管理直觀且無錯誤。
VirtualStor 縮放器性能
除了組裝解決方案並使其易於操作之外，集群還必須提供適合目標客戶用例的性能。 此外，Bigtera 提供多協議支持，這為該解決方案帶來了更大的靈活性。 在幾週的時間裡，我們使用以下硬件配置測試了該解決方案：
- 客戶端節點
- 1點¯x 技嘉H261-3C0 – 2U 4個節點，3個節點用於3個客戶端服務器
- 每個節點：
- 2 個 Xeon Gold 6140 CPU（18 核，2.3GHz）
- 8 個 16GB 2666MHz DDR4 RDIMM 內存條
- 1 個技嘉 CLNOQ42 雙端口 25GB SFP+ OCP 網卡 (QLogic FastLinQ QL41202-A2G)
- 1 個 960GB 2.5” 希捷 SATA SSD
- 存儲節點
- 3點¯x 技嘉S451-3R0存儲服務器
- 每個節點：
- 2 個 Intel Xeon Silver 4114 CPU（10 核，2.2GHz）
- 8 個 16GB 2666MHz DDR4 RDIMM 內存條
- 36 x 8TB 3.5 英寸希捷 Exos SATA 硬盤
- 2 x 3.84TB 威剛 SR2000CP AIC 固態硬盤
- 1 個 960GB 2.5” 希捷 SATA SSD
- 1 x GIGABYTE CLN4C44 4 x 25GbE SFP28 LAN 端口 (Mellanox ConnectX-4 Lx)
- 1 x 技嘉硬件 RAID 卡 CRA4648，技嘉 MR 3108 BBU
如前所述，該解決方案同時使用了硬盤驅動器和閃存。 每個節點都使用 960GB 的 Seagate SSD 進行引導。 對於容量層，技嘉正在使用 希捷 Exos 8TB 企業硬盤，每個存儲節點有 36 個驅動器。 為了從此配置中獲得最佳性能配置文件，技嘉使用了一對 Adata SR2000CP 3D eTLC 固態硬盤 每個存儲節點。 3.84TB 的附加卡處理日誌職責以及為集群提供緩存元素。 SR2000CP 系列的容量高達 11TB，但 3.84TB 卡滿足了該設備的性能目標（讀/寫速率高達每秒 6000/3800MB）和成本目標。
在性能方面，重要的是要了解企業如何看待大型 SDS 平台。 它們通常非常適合對象協議性能，但當您想要利用更傳統的協議（如 iSCSI）時，它更多地被視為一個“兼容性”用例。 換句話說，它們可以工作，但比存儲陣列圍繞其構建的主要協議慢得多。 不過，並非所有平台都如此，這也是 VirtualStor Scaler 如此獨特的部分原因。 為了證明這一點，我們運行了背靠背測試，一個使用 RBD 協議，一個使用 iSCSI。 值得注意的是，測試 VirtualScaler 支持的每個協議超出了本文的範圍，因為列表很廣泛（NFS、CIFS/SMB 和 S3 API）。
對於測試細節，我們利用 FIO 來衡量 30 個 10GB RBD 共享相對於 30 個 10GB iSCSI LUN 的性能。 我們將其分成我們的三個客戶端系統，每個系統訪問 10 個共享或 LUN。 然後，我們為每個存儲設備應用 1 個線程的工作負載和 16 的隊列深度（總計到集群，這計算出 30 個線程，每個線程具有 16Q 負載）。 然後，我們比較了大型順序傳輸和較小的 4K 隨機流量的性能。
在我們測量 1024K 順序傳輸的第一個工作負載中，我們看到三個使用 iSCSI 的客戶端的平均讀取速度分別超過 1600MB/s 和 960MB/s。 總的來說，這達到了 4.9GB/s 的讀取速度和 2.9GB/s 的寫入速度。 利用 RBD，我們看到類似的寫入流量超過每個客戶端 960MB/s，但讀取性能更高，每個客戶端超過 2700MB/s。 總體而言，RBD 總計讀取速度為 8.1GB/s，寫入速度為 2.9GB/s。
將我們的工作負載大小降低到 128k 順序傳輸，我們再次看到 iSCSI 和 RBD 性能之間的類似平衡。 使用 iSCSI，每個客戶端看到大約 440MB/s 的寫入和 1600MB/s 的讀取，總共達到 1.3GB/s 的寫入和 4.9GB/s 的讀取。 著眼於 RBD，我們發現每個客戶端的寫入性能略低，超過 410MB/s，讀取性能較高，每個客戶端超過 2500MB/s。 這在 RBD 上達到了 1.2GB/s 的寫入速度和 7.8GB/s 的讀取速度。
將注意力轉移到更小的隨機傳輸性能上，我們專注於 4K 測試。 查看 4K 隨機寫入中的兩種協議，iSCSI 和 RBD 都提供了相似的性能，每個客戶端超過 23K IOPS 或總計大約 71K IOPS，RBD 具有優勢。 查看讀取性能，我們看到 iSCSI 每個客戶端大約 64K IOPS 或總計 193K IOPS，而 RBD 測量每個客戶端 97K IOPS 或總計 291K IOPS。
關注我們 4K 隨機傳輸測試中的平均延遲，集群負載為 30 個線程和每個線程 16 個隊列，我們測得 iSCSI 和 RBD 傳輸的寫入時間略高於 6.7 毫秒，RBD 具有較小的優勢。 在讀取傳輸中，RBD 性能具有更大的優勢，總測量為 1.647 毫秒，而 iSCSI 為 2.489 毫秒。
底線
VirtualStor Scaler 是一種靈活且可擴展的軟件定義解決方案，在行業標準 x86 服務器上運行，提供文件、塊或對象存儲。 在這種情況下，我們結合了技嘉的客戶端和存儲節點，以突出融合解決方案的易管理性和多協議支持。 突出平台中可用的彈性也很重要。 這主要歸功於 VirutalStor 的 Ceph 基礎。 Bigtera 不喜歡在消息傳遞方面領先，因為人們通常認為 Ceph 提供了出色的數據保護功能，但缺乏講述性能和靈活性故事的能力——這兩者在大多數企業存儲應用程序中都是至關重要的。 在使用 VirtualStor Scaler 期間，我們一直對它能夠提供非常強大的 iSCSI 性能以及 RADOS 塊接口的能力印象深刻。 事實上，頂部有一個漂亮的 GUI，這對於那些不想涉足 CLI 的人來說很方便——Bigtera 在這方面做得很好。 VirtualStor 解決方案顯然不僅僅是用於典型分析、HPC 和 AI/ML 部署的數據倉庫。 由於解決方案的靈活性，企業明智的做法是將其視為從本地雲到存儲整合和更典型的虛擬化工作負載的各種用例的直接替代品。
