Mangstor NX6320 NVMe over Fabrics 검토

AFA(All-Flash Array)의 Mangstor NX 시리즈는 공유 스토리지 환경에 NVMe의 성능과 낮은 대기 시간 이점을 제공하도록 설계된 어플라이언스 제품군입니다. 물론 공유 스토리지는 새로운 것이 아니지만 공유 환경에서 NVMe의 이점을 활용할 수 있다는 것은 새로운 것입니다. 개념적으로 NVMe over Fabrics는 서버 내 사용으로 제한되었던 동급 최고의 SSD의 성능을 가져와 고속 네트워크(이더넷 또는 인피니밴드)를 통해 공유합니다. 특히 Mangstor NX6320은 지연 시간에 민감한 애플리케이션에 성능 이점을 제공하기 위해 RDMA 네트워크 액세스와 함께 NVMe over Fabrics를 사용합니다. 이 확장 가능한 스토리지에는 중요한 애플리케이션, 데이터베이스 및 HPC를 비롯한 여러 사용 사례가 있습니다.

Mangstor NX6320의 주요 이점은 네트워크를 통해 NVMe 스토리지 장치를 여러 서버에 대한 직접 연결 블록 스토리지로 공유할 수 있다는 것입니다. 서버는 각 서버에서 NVMe SSD 비용 없이 로컬 스토리지의 속도와 낮은 대기 시간을 확보합니다. 이 기능은 관리자에게 중앙 집중식 관리 및 서비스 가능성을 제공합니다.

NX6320은 Mangstor의 소프트웨어 구성 가능 MX6300 NVMe SSD TITAN 스토리지 스택과 결합되었습니다. 이전에 검토한 MX6300은 사용자가 컨트롤러를 구성하여 NAND 사용을 최적화하여 전력 사용을 줄일 수 있다는 점에서 다른 SSD와 확연히 다릅니다. TITAN 스토리지 소프트웨어는 업계 표준 서버를 MX6300 NVMe SSD를 사용하여 올플래시 스토리지 어레이로 변환할 수 있는 기능이 있습니다. TITAN은 또한 NVMe, RDMA 및 멀티코어 기술을 결합하여 Mangstor가 말하는 비교할 수 없는 블록 스토리지 액세스 대역폭 및 대기 시간을 제공할 수 있습니다. 이를 위해 TITAN은 네트워크에서 MX6300까지의 경로를 최적화하여 CPU 오버헤드를 줄입니다.

Mangstor NX6320 사양

폼 팩터: 2U
용량: 8TB | 12TB | 16TB | 32TB
대역폭 Rd/Wr(GB/s): 6.0 / 4.5 | 9.0 / 6.75 | 12.0 / 9.0 | 12.0 / 9.0
처리량 Rd/Wr(4K)(IOPS): 1.5M / 1.1M | 2.25M / 1.67M | 3.0M / 2.25M | 3.0M / 2.25M
읽기/쓰기 대기 시간: 110uS / 30uS
I/O 연결
- 2/40Gb/s QSFP 이더넷 56개, 2Gb/s QSFP 40개 InfiniBand | 4x40/56Gb/s QSFP 이더넷, 4x40Gb/s QSFP InfiniBand
패브릭 프로토콜 지원
- 수렴형 이더넷을 통한 RDMA(RoCE)
- 인피니밴드
- 아이워프
- 클라이언트 OS 드라이버 지원
- RHEL
- SLES
- CentOS에
- Ubuntu
- Windows
- VMware ESXi 5.5/6.0(VMDirectPath)
환경
- 입구 온도 10 – 35°C (50 – 95°F)
- 고도: 0~7,500피트
- 습도: 5-95%(비응축)
보증: 하드웨어 5년; 기본 소프트웨어 90일
전력: 350W | 400W | 450W | 450W

빌드 및 디자인

Mangstor는 밝은 파란색 베젤 아래에서 델 파워에지 13G R730 NX6320의 백본으로. 물론 Tier1 서버를 활용하면 강력한 하드웨어 호환성 및 드라이버 자격뿐만 아니라 대량 배포를 위한 iDRAC와 같은 관리 옵션을 비롯한 이점이 있습니다.

맞춤형 베젤 아래에는 Poweredge R730에서 기대할 수 있는 것이 있습니다. 장치 전면에는 비디오 커넥터, 정보 태그, vFlash 미디어 카드 슬롯, USB 커넥터 및 USB 관리 포트/iDRAC Direct가 있습니다. 전원 버튼(및 전원 켜짐 표시기)과 NMI 버튼도 있으며 후자는 특정 운영 체제를 실행할 때 소프트웨어 및 장치 드라이버 오류를 해결하는 데 사용됩니다. 전면 패널의 대부분을 차지하는 드라이브 베이는 Mangstor가 향후 제품 릴리스에서 추가 용량을 위해 사용할 수 있습니다.

후면 패널에는 왼쪽에서 오른쪽으로 시스템 식별 버튼, 시스템 식별 커넥터 및 iDRAC8 Enterprise 포트가 있습니다. PCIe 슬롯도 볼 수 있으며 구성에는 다양한 Mellanox 이더넷 NIC 옵션(40G 및 100G)과 6300개의 MX2 시리즈 NVMe SSD가 포함됩니다. 직렬, 비디오(VGA) 및 10x USB 커넥터도 있으며 100개의 이더넷 커넥터는 1000/XNUMX/XNUMXMbps NIC 연결을 제공합니다.

시스벤치 성능

12TB 버전의 Mangstor NX6320 NVMe over Fabrics All-Flash Array의 성능을 측정하기 위해 Dell PowerEdge 13G R730 컴퓨팅 클러스터를 활용했습니다. 각 서버에는 ESXI 3에서 통과 모드로 구성된 6.0개의 Mellanox ConnectX-XNUMX Pro NIC 카드가 있고 Sysbench 벤치마킹 환경의 특정 VM에 연결되어 있습니다. 이 테스트는 강력한 드라이버 지원을 제공하므로 성능 테스트에 중점을 두었습니다.

테스트 레이아웃에서 8개의 Sysbench VM의 정적 구성 하나를 테스트했습니다. NX6320 어레이는 용량과 성능 면에서 더 많은 것을 쉽게 지원할 수 있지만 패스스루 모드에서 Mellanox ConnectX-3 Pro NIC OFED ESXi 6.0 드라이버 지원은 하나의 물리적 NIC를 하나의 VM에 연결하는 것만 지원합니다. 랩에 8개의 ConnectX-3 Pro NIC만 있는 경우 지원되는 최대 구성은 8VM이었습니다. Mellanox와 Mangstor는 하나의 카드가 통과 모드에서 여러 가상 NIC를 지원하여 VM 밀도를 더욱 높일 수 있는 ConnectX-4 OFED ESXi 6.0 드라이버 지원을 위해 노력하고 있습니다. 그러나 검토 당시 드라이버는 아직 확정되지 않았습니다.

Dell PowerEdge R730 2노드 클러스터 사양

Dell PowerEdge R730 서버(x2)
CPU: Intel Xeon E5-2690 v3 2.6GHz(12C/24T) XNUMX개
메모리: 32 x 16GB DDR4 RDIMM
Mellanox ConnectX-3 프로
VM웨어 ESXi 6.0

이 테스트를 위해 8개의 VM을 동일하게 구성하고 개별 점수와 집계 점수를 살펴보았습니다. 각 Sysbench VM은 92개의 vDisk로 구성됩니다. 하나는 부팅용(~447GB), 하나는 사전 구축된 데이터베이스(~400GB), 세 번째는 테스트 중인 데이터베이스용(XNUMXGB)입니다. 세 번째 vDisk는 공유 NVMe 블록 스토리지 장치입니다.

Sysbench 테스트 구성(VM당)

센트OS 6.3 64비트
스토리지 공간: 1TB, 800GB 사용
페르코나 XtraDB 5.5.30-rel30.1
- 데이터베이스 테이블: 100
- 데이터베이스 크기: 10,000,000
- 데이터베이스 스레드: 32
- RAM 버퍼: 24GB
시험 시간: 3시간
- 2시간 동안 32개 스레드 사전 조정
- 1시간 32 스레드

Sysbench 테스트는 평균 TPS(Transactions Per Second), 평균 대기 시간, 최대 99개 스레드 로드에서 평균 32번째 백분위수 대기 시간을 측정합니다. 초당 확장된 트랜잭션을 살펴보면 Mangstor NX6320의 개별 VM은 약 1,600 TPS(1,579~1,600 TPS 사이에서 실행)를 제대로 실행했습니다. NX6320의 총점은 12,722 TPS였습니다.

평균 대기 시간을 살펴보면 NX6320은 전체적으로 약 20ms(20.00ms~20.27ms 범위)에서 상당히 일관되게 실행되었습니다. 당연히 집계 점수도 매우 일관되고 20.12ms로 낮았습니다.

최악의 MySQL 대기 시간 시나리오(99번째 백분위수 대기 시간) 측면에서 다시 한 번 NX6320은 강력하고 일관된 성능을 제공했으며 이번에는 35ms에서 37ms 사이(35.94ms에서 36.72ms로 실행)였습니다. 총 점수는 36.20ms

결론

Mangstor NX6320은 로컬 NVMe의 성능 및 대기 시간 이점을 공유 스토리지 환경에 제공하는 2U 올플래시 어레이입니다. 이러한 성능 및 대기 시간 개선을 확인하기 위해 Mangstor는 자체 MX6300 NVMe SSD 및 TITAN 소프트웨어를 활용합니다. 이 두 가지 기술을 결합하면 Mangstor는 시스템을 최적화하여 성능을 높이고 대기 시간을 줄일 수 있습니다. Mangstor는 NX6320-16TB 버전이 단일 어레이 성능이 더 높고 추가 어레이가 추가됨에 따라 성능이 계속 확장된다고 주장합니다. 그러나 일부 타협이 없는 것은 아니지만 현재 Mangstor와 같은 NVMe over Fabrics 솔루션의 단점은 기존 스토리지 솔루션에 비해 제한된 드라이버 지원입니다. 날이 갈수록 지원이 늘어나고 있지만 해야 할 일이 더 많습니다. NVMe over Fabrics를 구현하려면 프로덕션 환경에 통합하는 데 약간의 노력이 더 필요합니다.

성능을 살펴보면 NX6320 12TB 버전에서 Sysbench 애플리케이션 테스트를 실행했으며 스토리지는 6320개의 동일한 VM에 프로비저닝되었습니다. 이 테스트에서 NX6320은 개별 VM 성능과 VM 그룹 전체의 일관성 측면에서 우리의 기대치를 능가했습니다. NX8은 2VM에서 업계 최고의 성능을 제공하여 지금까지 테스트한 가장 근접한 플래시 어레이보다 1,600배의 이점을 달성했습니다. 처리량을 살펴보면 각 VM은 총 12,722 TPS의 점수로 약 8 TPS를 실행했습니다. 일반적으로 1,000VM 가상화 Sysbench 테스트 측정에서 VM당 3 TPS 미만의 상한선을 보았습니다. 지금까지 이를 능가하는 유일한 방법은 로컬 NVMe 또는 SAS6320 SSD를 활용하는 것인데, 물론 큰 성능 저하 없이 쉽게 공유할 수 있는 기능이 부족합니다. 확장된 평균 지연 시간 테스트에서 NX0.27은 모든 VM과 총 점수에서 지연 시간이 99ms만 변화했습니다. 최악의 시나리오(6320번째 백분위수 대기 시간)에서 NX0.78은 이번에도 최저에서 최고까지 XNUMXms만 변화하는 일관된 점수를 제공했습니다.

궁극적으로 NVMe over Fabrics는 아직 초기 단계입니다. 이 테스트는 초기 잠재력을 보여주지만 앞으로 더 많은 가능성이 있습니다. 드라이버 개발은 꾸준한 속도로 계속되고 있으며 Mellanox와 같은 공급업체는 긍정적인 결과를 보고 더 빠른 상호 연결을 보다 광범위하게 수용하는 데 투자하고 있습니다. Mellanox 100GbE ConnectX-4와 쌍을 이루는 NX 시리즈는 곧 출시될 예정이며, 이를 통해 훨씬 더 많은 VM 수로 확장하고 전반적인 확장성을 개선할 수 있습니다.

장점