存儲區域網絡 (SAN) 利用總線式網絡架構來加速和分散對企業存儲的訪問。 因此，加速存儲訪問包括加速 SAN 性能以及存儲介質本身，這使得配備 StorageReview 企業測試實驗室 跨三個主要網絡協議系列的各種互連選項：以太網、InfiniBand 和光纖通道。 這些互連選項提供了根據與 SAN 管理員在該領域的實際體驗相媲美的條件執行綜合基準測試的方法。
存儲區域網絡 (SAN) 利用總線式網絡架構來加速和分散對企業存儲的訪問。 因此，加速存儲訪問包括加速 SAN 性能以及存儲介質本身，這使得配備 StorageReview 企業測試實驗室 跨三個主要網絡協議系列的各種互連選項：以太網、InfiniBand 和光纖通道。 這些互連選項提供了根據與 SAN 管理員在該領域的實際體驗相媲美的條件執行綜合基準測試的方法。
全閃存存儲陣列和混合陣列是推動更快互連發展的存儲技術，但大型硬盤池的管理員也受益於密切關注 SAN 性能和可靠性。 今天，訪問融合基礎設施互連平台有助於避免陷入一種協議或物理鏈路層，但在存儲網絡架構期間做出的互連選擇可能會影響未來幾年的 SAN 功能和性能。
SAN 實施的多種選擇（包括佈線和連接器選擇）可能讓人很難一眼看出哪種互連組合和配置最適合特定設備或應用程序。 企業測試實驗室網絡設備的概述將從三種最常見的互連協議（以太網、InfiniBand 和光纖通道）中的每一種的討論開始，作為 SAN 架構師和技術人員選項的概述。 然後，我們將分解並說明可用於 StorageReview 企業基準測試的關鍵物理鏈路層選項。
乙太網路 - ENET
StorageReview 實驗室配備了來自 Netgear 和 Mellanox 的以太網交換硬件，使我們能夠部署從 1GbE 到 40GbE 的連接選項。 對於 1GbE 基準測試，我們使用 Netgear ProSafe prosumer 交換機。 我們的 10GbE 連接由 美國網件 ProSafe Plus XS708E 利用8P8C連接器和 邁絡思 SX1036 10/40Gb，帶有扇出電纜，可從單個 QSFP 端口分離出四個 SFP+ 以太網端口。
儘管以太網一詞通常與具有 8P8C 連接器（通常稱為 RJ45 連接器）的雙絞線銅纜同義使用，但以太網指的是一種網絡通信標準，可用於銅纜和光纖物理鏈路。 對於相對較短的線路，銅纜通常為以太網應用提供極具吸引力的性價比標準，但隨著所需數據傳輸速度的提高和傳輸距離的增加，光纜開始提供優於銅纜的競爭優勢。
我們看到了三個層級的以太網新設備：
- 1GbE – 目前在 2013 年，大多數家庭和專業消費者設備都設計有板載 1000BASE-T 千兆以太網，以及用於企業工作站、SMB NAS/SAN 和板載服務器 LAN 接口的設備。 我們開始在服務器和存儲硬件上看到越來越多的 10GBASE-T 雙絞線以太網運輸標準，但目前千兆位速度實際上是有線網絡連接的最低標準。
- 10GbE – 在 2000 年代的頭十年，10 吉比特的速度需要通過 SPF 型連接器的光纖或短線 Twinax。 由於 8GBASE-T 網絡硬件的日益普及，銅線和 8P10C 連接器現在正在進入 SAN 架構，這允許 cat6 和 cat7 上的 10Gb 速度。 10GbE 通過雙絞線銅纜使 XNUMXGBASE-T 成為高速存儲互連的經濟實惠的新選擇，儘管光纖仍然主導著市場。 我們的 美國網件 M7100 交換機 具有 10 個 4GBase-T 端口和 XNUMX 個 SFP+ 端口，而我們的 美國網件 ProSafe Plus XS708E 具有八個 10GbE 端口和一個共享的 10G 光纖 SFP+ 端口。
- 40GbE – 通過將四個 SFP+ 通道整合到一個連接器中的 QSFP+，我們能夠實現最快的現代存儲陣列通常需要的 40GbE 連接。 融合基礎設施硬件，例如 我們在實驗室中使用的 Mellanox SX6036, 根據配置提供 40GbE 或 56Gb/s InfiniBand 選項。 A Mellanox SX1036 10/40Gb 以太網交換機 作為實驗室網絡的主幹。
InfiniBand
InfiniBand 在 2000 年代初廣泛使用，交換機製造商 Mellanox 和 QLogic 推動了標準的發展。 InfiniBand 提供五層鏈路性能：每通道 2.5Gb/s 的單數據速率 (SDR)、5Gb/s 雙數據速率 (DDR)、10Gb/s 四數據速率 (QDR)、十四數據速率 (FDR) 14Gb/s，增強數據速率 (EDR) 為每條單向通道 26Gb/s。
InfiniBand 可與銅纜或光纖佈線一起使用，具體取決於互連所需的性能和距離。 如今，SFF-8470 連接器（通常簡稱為 InfiniBand 連接器）通常與 SFP 型連接器一起端接電纜。 StorageReview 企業測試實驗室是 56Gb/s Mellanox InfiniBand 結構的所在地，該結構用於對閃存設備進行基準測試，包括我們的 MarkLogic NoSQL 數據庫 基準。
MarkLogic NoSQL 基準比較了各種設備的存儲性能，包括 PCIe 應用程序加速器、SSD 組和大型 HDD 陣列。 我們使用 Mellanox InfiniBand 結構，由我們的 邁絡思 SX6036 由於其 56Gb/s 的網絡吞吐量以及對 iSER (iSCSI-RDMA) 和 SRP (SCSI RDMA) 協議的支持，為這些基準提供互連。 iSER 和 SRP 將 iSCSI TCP 堆棧替換為遠程直接內存訪問 (RDMA)，通過允許網絡流量繞過系統的 CPU 並允許將數據從發送系統的內存直接複製到集群環境，從而提高集群環境中的效率接收系統的內存。 這些功能也通過 iSCSI over RDMA (iSER) 協議帶到以太網中。
將這種 InfiniBand 結構與 EchoStreams GridStreams 四節點服務器 和一組標準化的 MarkLogic NoSQL 基準測試，使我們能夠推出高性能的新存儲設備，例如 美光 P320h 2.5″ PCIe 應用加速器 了解製造商的規格與實際條件下的性能相比如何。 今年晚些時候，我們將添加一個新的 VMware 基準測試，它也利用 StorageReview 的 InfiniBand SAN。
光纖通道協議
到 1990 年代末，光纖通道已成為高速計算和存儲區域網絡 (SAN) 的主要互連協議。 造成一些混亂的是，光纖通道被用作光纖通道協議的簡寫，這是一種基於通道的串行通信協議，通常部署在銅纜和光纖電纜上。 光纖通道的物理鏈路層允許單個通信路由跨越多種類型的鏈路技術，包括混合銅線和光纖段，以到達其目的地。
StorageReview 實驗室將 8Gb/s 和 16Gb/s FC 連接通過 QLogic SB5800V 8Gb 光纖通道 開關和一個 博科 6510 16Gb FC 轉變。 對於融合基礎架構應用，我們使用 16Gb QLogic 雙端口 HBA，在其他情況下，我們還使用單端口 16Gb Emulex 光纖通道 HBA。 光纖通道設備與其他 SAN 基礎設施之間的一個主要區別是定價和許可。 雖然以太網交換機通常提供一定數量的端口（通常為 12、24 或 48），這些端口在購買時全部處於活動狀態，但 FC 製造商通常使用每端口許可模型，其中光纖通道交換機可能具有48 個物理端口，但在初次購買時僅包含其中 12 或 24 個的捆綁許可證。 通過購買額外的許可證，可以根據需要啟用額外的端口，有時還可以啟用其他功能。
光纖通道是第一個被支持的 SAN 協議 QLogic 的 Mt. Rainier 技術，它將 QLogic SAN HBA 與基於服務器的閃存和軟件相結合，通過安裝在服務器中的 PCIe 卡提供獨立於操作系統的緩存。 Mt. Rainier 以基於 QLogic PCIe HBA 的適配卡為中心，用於邏輯和緩存管理以及存儲本身，然後連接到閃存層。 最終結果是通過接口卡為計算服務器提供本地緩存，這無論如何都是光纖通道 SAN 連接所必需的。 對於在服務器或集群上運行的應用程序，緩存看起來像 SAN 存儲，但訪問速度更快。
這種利用 SAN 基礎架構提供本地和集群範圍緩存的方法展示了當前一代光纖通道技術的巨大創新空間。 在集群中安裝多個 QLogic 的 FabricCache 適配器允許在整個過程中共享緩存——與光纖通道結構的集成允許在本地和集群規模上利用卡上緩存。
物理組件
雙絞線銅纜（Cat 電纜）
雙絞銅纜是高速存儲網絡之外使用最廣泛的互連，儘管隨著千兆和 10 吉銅互連的到來，雙絞線已經能夠在高速 SAN 應用中超越光纜。 “cat”（類）族雙絞線電纜具有成本低、製造容易、連接器類型在幾代網絡技術中保持相對不變的優點。
雙絞線銅纜按世代編號進行評級，反映其最大數據傳輸速率和最大額定鏈路距離。 從 1990 年代開始，連續不斷的“cat”世代帶來了 100Mb/s 連接 (cat5)、1Gb/s (cat5e)、10Gb/s (cat6) 和增加的最大鍊路距離 (cat7)。
雙軸
雙軸佈線 (Twinax) 最初用於早期的微型計算機系統，在 10 世紀繼續用作 21GbE 互連的物理層。 由於其簡單的結構，Twinax 與短距離光纖電纜相比具有成本優勢，但仍然比通過 cat10 或 cat6 雙絞線的 7GbE 更昂貴。 如果雙絞線電纜繼續在 SAN 互連應用中佔據一席之地，Twinax 可能會再次淪為傳統和利基應用。
光纖電纜
與銅纜相比，光纖電纜在數據傳輸方面具有許多技術優勢，儘管它們的成本高得多，而且技術人員缺乏在數據中心創建自己的電纜的實用方法，這導致許多企業和數據中心重新考慮使用銅纜進行互連。 光纖的優勢包括更長的最大傳輸長度，以及不易受到附近設備或安裝不當的電磁“噪聲”的影響。
光纖有兩種類型：單模和多模。 單模具有一根內鏈，能夠實現更大的最大數據速率和網段之間的距離。 然而，它需要使用更昂貴的激光器，這會推高網絡設備的成本。 多模可以使用更便宜的電纜材料，並且可以由更簡單、更便宜的 LED 燈而不是激光器驅動。
目前，光纖仍然是企業 SAN 實施的通用線纜。 現代光纖互連通常具有行業標準的子連接器，使升級和協議更改成為交換收發器的問題，以便為以太網、光纖通道或 InfiniBand 使用相同的鏈路。 光纖安裝的初始成本很高，但優質電纜的使用壽命很長，因為帶寬升級通常只需要升級收發器和交換機硬件。
SFP 型收發器/連接器
在過去 10 年中，由於形狀因素的靈活性，SFP 和 SFP 的後繼產品在互連市場中佔據了越來越大的份額。 我們在 2013 年看到的大多數產品都採用 SFP+ 或 QSFP，儘管還有其他變體。
- SFP：小型可插拔，專為高達 1Gb/s 的速度而設計
- SFP+：增強型小型可插拔，專為高達 10Gb/s 的速度而設計，並向後兼容 SFP
- QSFP：Quad Small Form-Factor Pluggable，旨在支持 40Gb/s 和更快的連接，這種外形將四個接口組合到一個收發器中
展望
在 Brocade、Emulex、HP、Intel、Mellanox、Netgear、QLogic 和其他公司的支持下，StorageReview 實驗室配備了滿足任何可能出現的互連需求的設備。 在這樣的異構環境中，靈活性是關鍵，不知道什麼時候可能需要為新陣列配置光纖骨幹網的一部分，或者我們什麼時候會看到支持四以太網鏈路聚合的標準小型 NAS。 當然，並非所有企業或 SMB 環境都需要如此靈活，為此，一些存儲供應商更多地談論模塊化，而不是將購買者鎖定在特定的互連要求中。 例如，NetApp 擁有可交換的光纖和 10GbE 卡，使他們的陣列更容易插入可能已經標準化的環境中。
互連人員也在做類似的事情，現在可以使用 SFP+ 交換機，技術人員可以輕鬆地在鏈路媒體和協議之間切換，而無需拆除和重建。 QLogic 聚合主機總線適配器 (HBA) 支持通過交換收發器和電纜以及更改卡 BIOS 中的設置來更改以太網和光纖通道之間的端口。 Mellanox 一直是使用虛擬互連的網卡的早期領導者，通過連接不同的電纜並加載不同的驅動程序，允許同一個 NIC 通過 InfiniBand 或以太網運行。
融合基礎架構的勢頭與虛擬化趨勢並行。 最新一代 SAN 和虛擬化技術的影響表明，物理基礎設施不僅與運行在其上的服務器和應用程序分離，而且與連接基礎設施本身的網絡層分離。 市場並沒有看到相互競爭的互連平台走向孤島和技術之間的競爭，而是朝著相互兼容和異構、融合的基礎設施發展。