엔터프라이즈 테스트 랩 네트워킹 개요

SAN(Storage Area Network) 버스 스타일의 네트워크 아키텍처를 활용하여 엔터프라이즈 스토리지에 대한 액세스를 가속화하고 분산합니다. 따라서 스토리지 액세스 가속화는 스토리지 미디어 자체뿐만 아니라 SAN 성능 가속화를 포함하므로 StorageReview 엔터프라이즈 테스트 랩 이더넷, InfiniBand 및 파이버 채널의 세 가지 주요 네트워크 프로토콜 제품군에 걸쳐 다양한 상호 연결 옵션을 제공합니다. 이러한 상호 연결 옵션은 SAN 관리자가 현장에서 실제로 경험하는 것과 유사한 조건을 기반으로 포괄적인 벤치마킹을 수행할 수 있는 수단을 제공합니다.

올플래시 스토리지 어레이 및 하이브리드 어레이는 더 빠른 상호 연결 개발을 추진해 온 스토리지 기술이지만 대규모 하드 디스크 풀 관리자는 SAN 성능 및 안정성에 세심한 주의를 기울임으로써 이점을 얻을 수 있습니다. 오늘날 컨버지드 인프라 상호 연결 플랫폼에 대한 액세스는 하나의 프로토콜 또는 물리적 링크 계층에 종속되는 것을 방지하는 데 도움이 될 수 있지만 스토리지 네트워크 아키텍처 중에 상호 연결을 선택하면 향후 몇 년 동안 SAN 기능과 성능에 영향을 미칠 수 있습니다.

케이블 연결 및 커넥터 선택을 포함하여 SAN 구현을 위한 다양한 옵션으로 인해 특정 장치 또는 응용 프로그램에 가장 적합한 상호 연결 조합 및 구성을 한눈에 구분하기 어려울 수 있습니다. Enterprise Test Lab의 네트워킹 장비에 대한 이 개요는 SAN 설계자와 기술자를 위한 옵션의 개요로서 세 가지 가장 일반적인 상호 연결 프로토콜(이더넷, InfiniBand 및 파이버 채널) 각각에 대한 논의로 시작됩니다. 그런 다음 StorageReview 엔터프라이즈 벤치마크에 사용할 수 있는 주요 물리적 링크 계층 옵션을 분석하고 설명합니다.

Ethernet

StorageReview 연구소에는 Netgear 및 Mellanox의 이더넷 스위칭 하드웨어가 장착되어 있어 1GbE에서 40GbE까지의 연결 옵션을 배포할 수 있습니다. 1GbE 벤치마크의 경우 Netgear ProSafe 프로슈머 스위치를 사용합니다. 당사의 10GbE 연결은 넷기어 프로세이프 플러스 XS708E 8P8C 커넥터와 멜라녹스 SX1036 10/40Gb, 단일 QSFP 포트에서 XNUMX개의 SFP+ 이더넷 포트를 분리하는 팬아웃 케이블이 있습니다.

이더넷이라는 용어는 종종 8P8C 커넥터(일반적으로 RJ45 커넥터라고 함)를 특징으로 하는 연선 구리 케이블링과 동의어로 사용되지만 이더넷은 구리 및 광섬유 물리적 링크 모두에서 사용할 수 있는 네트워크 통신 표준을 나타냅니다. 상대적으로 짧은 실행의 경우 구리 케이블은 종종 이더넷 애플리케이션에 대해 매력적인 가격 대비 성능 표준을 제공하지만 필요한 데이터 전송 속도가 증가하고 전송 거리가 길어짐에 따라 광섬유 케이블이 구리보다 경쟁 우위를 제공하기 시작합니다.

세 가지 계층에서 이더넷을 사용하는 새로운 장비를 볼 수 있습니다.

1GbE – 현재 2013년 현재 대부분의 가정용 및 프로슈머 장비는 엔터프라이즈 워크스테이션, SMB NAS/SAN 및 온보드 서버 LAN 인터페이스용 장비와 함께 온보드 1000BASE-T 기가비트 이더넷으로 설계되었습니다. 우리는 서버 및 스토리지 하드웨어에서 점점 더 많은 10GBASE-T 트위스트 페어 이더넷 배송 표준을 보기 시작했지만 현재로서는 기가비트 속도가 유선 네트워크 연결을 위한 사실상의 최소 표준입니다.
10GbE – 2000년대 첫 10년 동안 8기가비트 속도에는 SPF 스타일 커넥터를 통한 광섬유 또는 단기 Twinax가 필요했습니다. 구리 및 8P10C 커넥터는 이제 cat6 및 cat7을 통해 10기가비트 속도를 허용하는 10GBASE-T 네트워크 하드웨어의 가용성이 증가함에 따라 SAN 아키텍처에 진출하고 있습니다. XNUMXGbE over twisted pair copper는 XNUMXGBASE-T를 고속 스토리지 상호 연결을 위한 저렴한 새 선택으로 만들었지만 광섬유는 여전히 시장을 지배하고 있습니다. 우리의 넷기어 M7100 스위치 10개의 4GBase-T 포트와 XNUMX개의 SFP+ 포트를 갖추고 있으며, 넷기어 프로세이프 플러스 XS708E 10개의 10GbE 포트와 XNUMX개의 공유 XNUMXG 파이버 SFP+ 포트를 제공합니다.
40GbE – 40개의 SFP+ 레인을 하나의 커넥터로 통합하는 QSFP+를 통해 가장 빠른 최신 스토리지 어레이에 종종 필요한 XNUMXGbE 연결을 달성할 수 있습니다. 다음과 같은 컨버지드 인프라 하드웨어 실험실에서 사용하는 Mellanox SX6036, 구성에 따라 40GbE 또는 56Gb/s InfiniBand에 대한 옵션을 제공합니다. ㅏ Mellanox SX1036 10/40Gb 이더넷 스위치 연구소 네트워크의 백본 역할을 합니다.

인피니밴드

InfiniBand는 스위치 제조업체인 Mellanox와 QLogic이 표준을 주도하면서 2000년대 초반에 널리 보급되었습니다. InfiniBand는 레인당 2.5Gb/s의 단일 데이터 전송률(SDR), 5Gb/s의 이중 데이터 전송률(DDR), 10Gb/s의 QDR(쿼드 데이터 전송률), 14개의 데이터 전송률(FDR) 등 26개 계층의 링크 성능을 제공합니다. XNUMXGb/s에서, 단방향 레인당 XNUMXGb/s에서 향상된 데이터 속도(EDR).

InfiniBand는 필요한 성능과 상호 연결에 필요한 거리에 따라 구리 또는 광섬유 케이블과 함께 사용할 수 있습니다. 오늘날 단순히 InfiniBand 커넥터라고도 하는 SFF-8470 커넥터는 일반적으로 SFP 스타일 커넥터와 함께 케이블을 종단 처리합니다. StorageReview Enterprise Test Lab은 당사를 포함한 플래시 스토리지 어플라이언스 벤치마킹에 사용되는 56Gb/s Mellanox InfiniBand 패브릭의 본거지입니다. MarkLogic NoSQL 데이터베이스 벤치 마크

MarkLogic NoSQL 벤치마크는 PCIe 애플리케이션 가속기, SSD 그룹 및 대형 HDD 어레이를 포함한 다양한 장치에서 스토리지 성능을 비교합니다. 우리는 당사에서 제공하는 Mellanox InfiniBand 패브릭을 사용합니다. 멜라녹스 SX6036 56Gb/s 네트워크 처리량과 iSER(iSCSI-RDMA) 및 SRP(SCSI RDMA) 프로토콜에 대한 지원으로 인해 이러한 벤치마크에 대한 상호 연결을 제공합니다. iSER 및 SRP는 iSCSI TCP 스택을 RDMA(Remote Direct Memory Access)로 대체하여 네트워크 트래픽이 시스템의 CPU를 우회하도록 허용하고 전송 시스템의 메모리에서 직접 데이터를 복사할 수 있도록 하여 클러스터 환경에서 효율성을 높입니다. 수신 시스템의 메모리. 또한 이러한 기능은 iSER(iSCSI over RDMA) 프로토콜을 통해 이더넷으로 가져옵니다.

이 InfiniBand 패브릭을 EchoStreams GridStreams 쿼드 노드 서버 표준화된 MarkLogic NoSQL 벤치마크 세트를 통해 Micron P320h 2.5″ PCIe 애플리케이션 가속기 제조업체의 사양을 실제 조건에서 성능과 비교하는 방법을 확인합니다. 올해 후반에는 StorageReview의 InfiniBand SAN도 활용하는 새로운 VMware 벤치마크를 추가할 예정입니다.

파이버 채널 프로토콜

1990년대 말까지 파이버 채널은 고속 컴퓨팅 및 SAN(Storage Area Network)을 위한 지배적인 상호 연결 프로토콜이었습니다. 약간의 혼동을 야기하는 파이버 채널은 파이버 채널 프로토콜의 줄임말로 사용됩니다. 파이버 채널 프로토콜은 종종 구리와 광섬유 케이블을 통해 배포되는 직렬 채널 기반 통신 프로토콜입니다. 파이버 채널의 물리적 링크 계층을 사용하면 대상에 도달하기 위해 구리 및 광섬유 세그먼트 혼합을 포함하여 하나 이상의 링크 기술 유형을 통해 단일 통신 경로를 라우팅할 수 있습니다.

StorageReview 연구소는 다음을 통해 8Gb/s 및 16Gb/s FC 연결을 통합합니다. QLogic SB5800V 8Gb 파이버 채널 스위치와 브로케이드 6510 16Gb FC 스위치. 통합 인프라 애플리케이션의 경우 16Gb QLogic 이중 포트 HBA를 사용하고 다른 상황에서는 단일 포트 16Gb Emulex 파이버 채널 HBA도 사용합니다. 파이버 채널 장비와 다른 SAN 인프라 간의 주요 차이점 중 하나는 가격과 라이센스입니다. 이더넷 스위치는 일반적으로 구입 시 모두 활성화되는 설정된 수의 포트(일반적으로 12, 24 또는 48)와 함께 사용할 수 있지만 FC 제조업체는 일반적으로 포트당 라이센스 모델을 사용합니다. 48개의 물리적 포트이지만 초기 구매 시 이들 중 12개 또는 24개에 대한 번들 라이센스만 포함됩니다. 추가 라이센스를 구입하면 필요에 따라 추가 포트와 다른 기능을 사용할 수 있습니다.

파이버 채널은 다음에서 지원되는 최초의 SAN 프로토콜입니다. QLogic의 Mt. Rainier 기술, QLogic SAN HBA를 서버 기반 플래시 스토리지 및 소프트웨어와 결합하여 서버에 설치된 PCIe 카드를 통해 OS 독립적인 캐싱을 제공합니다. Rainier는 플래시 계층에 연결되는 스토리지 자체는 물론 논리 및 캐시 관리를 위한 QLogic PCIe HBA 기반 어댑터 카드를 중심으로 합니다. 최종 결과는 파이버 채널 SAN 연결에 관계없이 필요했던 인터페이스 카드를 통한 연산 서버용 로컬 캐시입니다. 서버 또는 클러스터에서 실행되는 애플리케이션의 경우 캐시는 SAN 스토리지처럼 보이지만 액세스 속도가 더 빠릅니다.

SAN 인프라를 활용하여 로컬 및 클러스터 전체 캐싱을 제공하는 이 접근 방식은 현재 세대의 파이버 채널 기술에서 혁신을 위한 상당한 여지를 보여줍니다. QLogic의 FabricCache 어댑터를 클러스터에 두 개 이상 설치하면 전체 캐시를 공유할 수 있습니다. 파이버 채널 패브릭과 통합하면 온카드 캐시를 로컬 및 클러스터 규모 모두에서 활용할 수 있습니다.

물리적 구성 요소

연선 구리 케이블(Cat 케이블)

트위스트 페어 구리 케이블은 고속 스토리지 네트워크 외부에서 가장 널리 사용되는 상호 연결이지만 기가비트 및 10기가비트 구리 상호 연결이 등장함에 따라 트위스트 페어는 고속 SAN 애플리케이션용 광섬유 케이블에 비해 이점을 얻을 수 있었습니다. 트위스트 페어 케이블의 "cat"(카테고리) 계열은 저렴한 비용, 제조 용이성 및 여러 세대의 네트워크 기술을 통해 상대적으로 변경되지 않은 커넥터 유형이라는 이점이 있습니다.

연선 구리 케이블은 최대 데이터 전송 속도와 최대 정격 링크 거리를 반영하는 세대 번호로 등급이 지정됩니다. 1990년대부터 일련의 "cat" 세대는 100Mb/s 연결(cat5), 1Gb/s(cat5e), 10Gb/s(cat6) 및 증가된 최대 링크 거리(cat7)를 제공했습니다.

트윈액스

원래 초기 마이크로컴퓨터 시스템에서 사용된 쌍축 케이블링(Twinax)은 10세기에 21GbE 상호 연결을 위한 물리적 계층으로 계속 사용되었습니다. 간단한 구성으로 인해 Twinax는 단기간 광섬유 케이블보다 비용 이점을 제공하지만 그럼에도 불구하고 cat10 또는 cat6 트위스트 페어를 통한 7GbE보다 비쌉니다. 트위스트 페어 케이블이 SAN 인터커넥트 애플리케이션에서 계속해서 입지를 다질 경우 Twinax는 다시 한 번 레거시 및 틈새 애플리케이션으로 밀려날 수 있습니다.

광섬유 케이블

광섬유 케이블은 데이터 전송을 위해 구리에 비해 많은 기술적 이점을 제공하지만 훨씬 더 많은 비용과 기술자가 데이터 센터에서 자체 케이블을 만들 수 있는 실용적인 수단이 부족하여 많은 기업과 데이터 센터에서 상호 연결을 위해 구리를 재고하게 되었습니다. 광섬유의 장점 중에는 최대 전송 길이가 더 길고 주변 장비 또는 부적절한 설치로 인한 전자기 '노이즈'에 대한 취약성이 부족하다는 것입니다.

광섬유는 단일 모드와 다중 모드의 두 가지 종류가 있습니다. 단일 모드는 하나의 내부 스트랜드를 특징으로 하며 최대 데이터 속도와 네트워크 세그먼트 간의 거리를 높일 수 있습니다. 그러나 네트워크 장치 비용을 높일 수 있는 더 비싼 레이저를 사용해야 합니다. 다중 모드는 저렴한 케이블 재료에 대한 내성이 있으며 레이저보다 더 간단하고 저렴한 LED 조명으로 구동할 수 있습니다.

현재 광학은 엔터프라이즈 SAN 구현을 위한 범용 케이블로 남아 있습니다. 최신 광섬유 상호 연결은 일반적으로 산업 표준 하위 커넥터를 갖추고 있어 이더넷, 파이버 채널 또는 InfiniBand에 대해 동일한 링크를 사용하기 위해 트랜시버를 교체하는 문제로 업그레이드 및 프로토콜 변경이 이루어집니다. 광섬유 설치를 위한 초기 비용은 높지만 대역폭을 업그레이드하려면 트랜시버와 스위치 하드웨어만 업그레이드하면 되므로 고품질 케이블은 수명이 깁니다.

SFP 스타일 트랜시버/커넥터

지난 10년 동안 SFP와 SFP의 후속 제품은 폼 팩터의 유연성으로 인해 상호 연결 시장의 성장하는 부문을 주도해 왔습니다. 2013년에 우리가 보는 대부분은 SFP+ 또는 QSFP를 특징으로 하지만 다른 변형도 있습니다.

SFP: 최대 1Gb/s의 속도를 위해 설계된 소형 폼 팩터 플러그형
SFP+: 향상된 소형 폼 팩터 플러그 가능, 최대 10Gb/s의 속도 및 SFP와의 하위 호환을 위해 설계됨
QSFP: 40Gb/s 이상의 연결을 지원하도록 설계된 쿼드 소형 폼 팩터 플러그형, 이 폼 팩터는 XNUMX개의 인터페이스를 하나의 트랜시버로 결합합니다.

기대

Brocade, Emulex, HP, Intel, Mellanox, Netgear, QLogic 등의 지원을 통해 StorageReview 연구소는 발생할 수 있는 모든 상호 연결 요구 사항을 충족할 수 있습니다. 이와 같은 이기종 환경에서는 유연성이 핵심입니다. 파이버 백본의 일부를 새 어레이에 프로비저닝해야 하는 시기 또는 쿼드 이더넷 링크 통합을 지원하는 표준 소형 NAS를 보게 될 시기를 알 수 없습니다. 물론 모든 기업 또는 SMB 환경이 그렇게 유연할 필요는 없으며, 이를 위해 일부 스토리지 제공업체는 구매자를 특정 상호 연결 요구 사항에 가두는 것보다 모듈성에 대해 더 많이 이야기합니다. 예를 들어 NetApp에는 교체 가능한 파이버 및 10GbE 카드가 있어 둘 중 하나로 표준화되었을 수 있는 환경에 어레이를 더 쉽게 끼워 넣을 수 있습니다.

인터커넥트 담당자도 비슷한 작업을 수행하고 있으며, 이제 기술자가 분리 및 재구축 없이 링크 미디어와 프로토콜 사이를 간단하게 전환할 수 있도록 하는 SFP+ 스위치를 사용할 수 있습니다. QLogic 수렴형 호스트 버스트 어댑터(HBA)는 트랜시버와 케이블을 교환하고 카드의 BIOS에서 설정을 변경하여 이더넷과 파이버 채널 간의 포트 변경을 지원합니다. Mellanox는 가상 상호 연결을 활용하는 네트워킹 카드의 초기 리더였으며, 동일한 NIC가 다른 케이블을 연결하고 다른 드라이버를 로드하여 InfiniBand 또는 이더넷을 통해 작동할 수 있도록 합니다.

컨버지드 인프라를 향한 모멘텀은 가상화를 향한 추세와 나란히 진행되고 있습니다. 최신 세대의 SAN 및 가상화 기술의 의미는 물리적 인프라를 실행하는 서버 및 애플리케이션뿐만 아니라 인프라 자체를 연결하는 네트워킹 계층에서도 분리하려는 꾸준한 움직임을 가리킵니다. 경쟁 상호 연결 플랫폼이 사일로와 기술 간의 경쟁으로 이동하는 것을 보는 대신 시장은 상호 호환성과 이기종 융합 인프라를 향해 나아가고 있습니다.