VMware VSAN 6.2 올플래시 검토

작년에 우리는 VSAN 6.0에 대한 자세한 리뷰 시리즈 하이브리드 구성에서. 올해 XNUMX월, VMware, VSAN 6.2 출시, 중복 제거 및 압축을 통한 데이터 감소와 기타 여러 기능을 시장에 출시했습니다. 데이터 감소는 가격 하락과 고품질 옵션 덕분에 플래시 채택이 급증함에 따라 VSAN의 주요 발전입니다. 올플래시 구성에서 VSAN을 사용하면 데이터 감소를 활용하는 사용자가 워크로드에 따라 용량을 효과적으로 XNUMX배(또는 그 이상) 늘릴 수 있으므로 ROBO에서 기업에 이르기까지 모든 사람에게 플래시의 가치를 제공합니다.

VSAN 검토를 계속하면서 이전 하이브리드 검토에서 사용한 것과 동일한 Dell PowerEdge R730xd 클러스터를 활용했습니다. VSAN 6.2와 호환되도록 BIOS, 펌웨어 및 ESXi를 포함하여 플랫폼을 업데이트했습니다. 그러나 가장 큰 변화 중 하나는 기존 HDD 및 SSD를 Toshiba의 지원을 받아 새로운 올플래시 구성으로 교체한 것입니다. 시중에서 가장 빠른 SAS3 SSD 중 일부를 활용함으로써 우리는 하드웨어를 방해하지 않고 VSAN 자체에 모든 관심을 기울일 수 있습니다.

Dell PowerEdge R730xd VMware All-Flash VSAN 사양

Dell PowerEdge R730xd 서버(x4)
CPU: Intel Xeon E5-2697 v3 2.6GHz(14C/28T) XNUMX개
메모리: 64 x 16GB DDR4 RDIMM
SSD :
- 캐시: 16GB Toshiba PX400 쓰기 집약형 SAS04 3개
- 용량: 80 x 960GB Toshiba PX04 읽기 집약적 SAS3
네트워킹: 4 x Intel X520 DP 10Gb DA/SFP+, + I350 DP 1Gb 이더넷
저장 용량 : 69.86TB

이 검토에 사용된 Toshiba 드라이브는 도시바 PX04S 모델. 이전 검토에서 우리는 PX04S 모델이 지금까지 테스트한 SAS 엔터프라이즈 SSD 중 가장 빠른 것으로 나타났습니다. PX04S는 검토 당시 최대 용량의 듀얼 포트 SAS SSD이기도 했습니다. PX04S 시리즈는 높은 내구성에서 낮은 내구성까지 다양한 내구성 수준으로 제공되며 중간 및 가치 내구성 모델도 있습니다. 이 검토를 위해 Dell PowerEdge R730xd를 400개의 04GB 쓰기 집약적(PX040SHB960) 드라이브와 04개의 096GB 가치 내구성(PX25SVB3) 드라이브로 채웠습니다. 쓰기 집약적 드라이브는 최대 02DWPD를 자랑하며 가치 내구성 드라이브는 최대 800DWPD입니다. 이에 비해 동일한 서버를 사용한 하이브리드 구성에서 캐시 계층은 호스트당 XNUMX개의 Toshiba PXXNUMX XNUMXGB SSD로 구성되어 캐시 계층 용량을 두 배로 늘렸습니다.

PX04SHB040 400GB 쓰기 집약적 드라이브 사양:

퍼포먼스
- 지속 64KiB 순차 읽기: 1,900MiB/s
- 지속 64KiB 순차 쓰기: 850MiB/s
- 지속 4KiB 임의 읽기: 270K IOPS
- 지속 4KiB 임의 쓰기: 125K IOPS
DWPD: 25

PX04SVB096 960GB 가치 내구성 드라이브 사양:

퍼포먼스
- 지속 64KiB 순차 읽기: 1,900MiB/s
- 지속 64KiB 순차 쓰기: 850MiB/s
- 지속 4KiB 임의 읽기: 270K IOPS
- 지속 4KiB 임의 쓰기: 60K IOPS
DWPD: 3

애플리케이션 워크로드 분석

이 검토를 위해 모든 Toshiba PX730 SAS04 SSD로 Dell PowerEdge R3xd VMware VSAN을 다시 채웠습니다. 첫 번째 벤치마크는 SysBench를 통한 MySQL OLTP 성능 그리고 마이크로소프트 SQL 서버 OLTP 성능 시뮬레이션된 TPC-C 워크로드를 사용합니다.

각 SQL Server VM은 100개의 vDisk(부팅용 500GB 및 데이터베이스 및 로그 파일용 16GB)로 구성됩니다. 시스템 리소스 관점에서 각 VM을 vCPU 64개, DRAM XNUMXGB로 구성하고 LSI Logic SAS SCSI 컨트롤러를 활용했습니다. 이러한 테스트는 대기 시간에 민감한 애플리케이션이 컴퓨팅 및 스토리지 부하가 중간 정도이지만 과도하지는 않은 클러스터에서 수행되는 방식을 모니터링하도록 설계되었습니다.

SQL Server 테스트 구성(VM당)

윈도우 서버 2012 R2
스토리지 공간: 600GB 할당, 500GB 사용
SQL 서버 2014
- 데이터베이스 크기: 1,500 규모
- 가상 클라이언트 로드: 15,000
- RAM 버퍼: 48GB
시험 시간: 3시간
- 2.5시간 전처리
- 30분 샘플 기간

하이퍼 컨버지드 플랫폼의 SQL Server TPC-C 테스트에서는 하이브리드 모드, AF(All-Flash) 모드 및 AF DR(All-Flash Data Reduction)에서 클러스터 전체의 워크로드 균형을 살펴봅니다. AF 버전은 개별 VM이 3,112.4 TPS에서 3,130.4 TPS로 실행되는 하이브리드보다 약간 더 강력한 성능을 제공했으며, 총 점수는 12,472.8 TPS로 전체 점수가 가장 높았습니다. DR 구성은 개별 VM이 2,982.1 TPS에서 3,009.6 TPS로 실행되고 총 점수가 11,969.1 TPS인 테스트 구성의 하단에 있었습니다.

SQL Server TPC-C 테스트에서 가장 주목하는 변수는 평균 대기 시간입니다. 트랜잭션 성능의 작은 차이는 전체 내용을 표시하지 않습니다. 평균 대기 시간 테스트에서 AF 버전의 최고 점수인 64ms가 하이브리드의 최악 점수와 동일함을 확인했습니다. AF 역시 평균 53ms를 기록했다. 다시 한 번 DR 구성은 최저 236ms, 최고 278ms, 평균 261ms로 팩의 맨 아래에 배치되었습니다.

시스벤치 성능

각 Sysbench VM은 92개의 vDisk로 구성됩니다. 하나는 부팅용(~447GB), 하나는 사전 구축된 데이터베이스(~400GB), 세 번째는 테스트 중인 데이터베이스용(16GB)입니다. 시스템 리소스 관점에서 각 VM을 vCPU 64개, DRAM XNUMXGB로 구성하고 LSI Logic SAS SCSI 컨트롤러를 활용했습니다.

Sysbench 테스트 구성(VM당)

센트OS 6.3 64비트
스토리지 공간: 1TB, 800GB 사용
페르코나 XtraDB 5.5.30-rel30.1
- 데이터베이스 테이블: 100
- 데이터베이스 크기: 10,000,000
- 데이터베이스 스레드: 32
- RAM 버퍼: 24GB
시험 시간: 12시간
- 6시간 동안 32개 스레드 사전 조정
- 1시간 32 스레드
- 1시간 16 스레드
- 1시간 8 스레드
- 1시간 4 스레드
- 1시간 2 스레드

Sysbench OLTP를 사용하여 각각에 대한 8VM 구성을 살펴봅니다. AF는 4,273 TPS에서 4,259 TPS로 하이브리드를 제치고 약간 앞서 나갔습니다. DR 구성은 3,625TPS를 기록했습니다.

평균 대기 시간을 살펴보면 AF가 각각 60.1ms에서 60.3ms로 하이브리드보다 상당히 높지 않은 것을 보면 약간 놀랍습니다. DR은 71ms 대기 시간으로 훨씬 높은 점수를 받았습니다.

평균 99번째 백분위수 대기 시간은 다시 AF 대 하이브리드의 대기 시간이 각각 126ms에서 131ms로 약간 감소한 것으로 나타났습니다. DR은 212ms로 대기 시간이 훨씬 더 깁니다.

VMmark 성능 분석

당사의 모든 응용 프로그램 성능 분석과 마찬가지로 성능에 대한 회사의 주장과 비교하여 실제 생산 환경에서 제품이 어떻게 작동하는지 보여주려고 합니다. 우리는 스토리지를 더 큰 시스템의 구성 요소로 평가하는 것의 중요성을 이해하고 있으며, 가장 중요한 것은 주요 엔터프라이즈 애플리케이션과 상호 작용할 때 스토리지가 얼마나 반응이 좋은지 이해하고 있습니다. 이 테스트에서 우리는 VMware의 VMmark 가상화 벤치마크 다중 서버 환경에서.

VMmark는 설계상 매우 리소스 집약적인 벤치마크로, 스토리지, 네트워크 및 컴퓨팅 활동에 스트레스를 주는 VM 기반 애플리케이션 워크로드가 광범위하게 혼합되어 있습니다. 가상화 성능을 테스트할 때 VMmark는 스토리지 I/O, CPU 및 VMware 환경의 네트워크 성능까지 포함하는 많은 측면을 보기 때문에 이보다 더 나은 벤치마크는 거의 없습니다.

여기에서는 데이터 감소 VSAN 구성을 사용하는 하이브리드 및 올플래시 모두에서 VMmark 전체 및 애플리케이션 성능의 돌파구를 살펴봅니다.

압축 및 중복 제거가 활성화된 타일 18개를 사용할 수 있는 VSAN은 지금까지 테스트한 데이터 감소 기능을 갖춘 최고 성능의 스토리지 시스템입니다. 과거 벤치마크에서 우리는 올플래시 어레이 앞에 전용 중복 제거 어플라이언스를 사용하여 8타일을 기록했습니다.

이 18타일 All-Flash VSAN 실행 중에 호스트 중 하나의 CPU 리소스를 살펴보면 시스템의 CPU 사용량이 약 80-85%였습니다. 따라서 스토리지 측면이 더 높아질 수는 없지만 클러스터에는 여전히 일부 리소스가 남아 있습니다.

HCIbench 테스트 구성

VM 16개
VM당 10 VMDK
- 10GB VMDK(1.6TB 공간)
- 50GB VMDK(8TB 공간)
- 100GB VMDK(16TB 공간)
전체 쓰기 스토리지 초기화
1.5시간 테스트 간격(30분 사전 조정, 60분 테스트 샘플 기간)

VMware VSAN의 하이브리드 및 AF DR 구성을 테스트하기 위해 워크로드 프로필에 대해 두 가지 다른 구성을 배포했습니다. 여기에는 1.6TB(하이브리드의 경우 전체 캐시 내), 800GB(AF DR의 경우 전체 캐시 내) 및 16TB(캐시 외부 유출) 공간이 포함되어 핫 데이터가 증가함에 따라 플랫폼이 어떻게 대응하는지 보여줍니다. 이러한 크기는 캐시 또는 계층화를 위해 프로비저닝된 플래시 양에 따라 각 플랫폼에 대해 조정할 수 있습니다.

StorageReview의 HCIbench 워크로드 프로파일

첫 번째 HCIbench 테스트는 완전 랜덤 4K 워크로드 프로필을 사용하여 VMware VSAN 플랫폼의 최대 랜덤 처리량을 살펴봅니다. 캐시로 이동된 데이터로 완전히 워밍업된 하이브리드는 888MB/s 읽기 및 249MB/s 쓰기를 캐시에 1.6TB 풋프린트로 제공했습니다. 캐시 공간이 800GB인 AF DR은 1,414MB/s 읽기 및 160MB/s 쓰기를 제공했습니다. 데이터 세트가 최대 16TB(캐시 외부로 유출됨)인 경우 하이브리드는 26MB/s 읽기 및 56MB/s 쓰기를 제공한 반면 AF DR은 423MB/s 읽기 및 151MB/s 쓰기라는 놀랍지 않게 더 강력한 성능을 보였습니다.

다음으로 동일한 4k 프로필에서 최대 I/O를 살펴보고 여기에서도 비슷한 결과를 확인했습니다. 캐시의 1.6TB 데이터 세트는 227,342 IOPS 읽기 및 63,868 IOPS 쓰기의 결과를 보여주는 하이브리드를 가지고 있는 반면, 캐시의 AF DR에 대한 800GB 데이터 세트는 361,923 IOPS 읽기 및 41,031 IOPS 쓰기의 결과를 나타냅니다. 16TB 데이터 세트는 하이브리드가 6,747 IOPS 읽기 및 14,404 IOPS 쓰기를 제공했고 AF DR은 108,365 IOPS 읽기 및 38,778 IOPS 쓰기를 제공했습니다.

다음 메트릭은 완전히 임의적인 4K 워크로드 프로필의 평균 대기 시간을 살펴봅니다. 하이브리드의 캐시 내 1.6TB 공간은 읽기 대기 시간이 1ms이고 쓰기 대기 시간이 4ms였습니다. AF DR에 대한 캐시의 800GB 풋프린트는 0.88ms의 읽기 대기 시간과 8.29ms의 쓰기 대기 시간을 가졌습니다. 16TB 데이터 세트가 캐시에서 유출되면 하이브리드는 항상 지연 시간이 더 높은 10K 회전 디스크에 유출되고 AF DR은 플래시 드라이브에 남아 있기 때문에 결과에 훨씬 더 큰 불일치가 있을 것입니다. 여기서 하이브리드는 47ms 읽기 및 23ms 쓰기의 대기 시간을 제공한 반면 AF DR은 1.65ms 읽기 및 4.66ms 쓰기의 대기 시간을 제공했습니다.

다음 테스트에서는 8% 읽기 및 70% 쓰기 활동이 혼합된 더 큰 30K 데이터 프로필을 살펴봅니다. 여기서 캐시의 하이브리드(1.6TB 공간 포함)는 947.9MB/s를 기록했습니다. 캐시의 AF DR(800GB)은 631.5MB/s의 성능을 보였습니다. 더 큰 16TB 데이터 세트가 캐시에서 유출되면서 하이브리드의 성능은 67MB/s로 떨어졌고 AF DR은 530MB/s로 떨어졌습니다.

다음으로 동일한 8k 70/30 워크로드의 I/O 성능을 살펴봅니다. 하이브리드 1.6TB 풋프린트는 121,329 IOPS를 기록했고 AF DR은 80,834 IOPS를 기록했습니다. 16TB 데이터 세트가 캐시에서 유출된 후 두 구성 모두 하이브리드가 8,584 IOPS를 기록하고 AF DR이 67,882 IOPS를 기록하면서 성능이 저하되었습니다.

8k 70/30 평균 대기 시간을 보면 위와 비슷한 배치를 볼 수 있습니다. 캐시 내에서 하이브리드의 대기 시간은 2ms, AF DR의 대기 시간은 3.94ms였습니다. 대용량 데이터 세트가 캐시에서 유출되면서 하이브리드는 최대 37ms까지 뛰었고 AF DR은 실제로 2.63ms로 떨어졌습니다.

마지막 워크로드는 32K 순차 읽기 및 쓰기 프로필로 구성된 피크 대역폭 포커스로 전환됩니다. 하이브리드의 인캐시 성능은 2,699MB/s 읽기와 1,193MB/s를 나타냈고, AF DR의 인캐시 성능은 1,971MB/s 읽기와 1,353MB/s 쓰기를 나타냈습니다. 더 큰 16TB 데이터 세트에서 우리는 하이브리드에서 2,490MB/s 읽기 및 1,082MB/s 쓰기, AF DR에서 975MB/s 읽기 및 495MB/s 쓰기를 확인했습니다.

I/O 성능은 하이브리드가 AF DR보다 대부분 더 나은 성능을 제공하면서 비슷한 결과를 보였습니다. 캐시 내 하이브리드는 86,379 IOPS 읽기 및 38,184 IOPS 쓰기 성능을 보인 반면, AF DR은 63,068 IOPS 읽기 및 43,302 IOPS 쓰기 성능을 가졌습니다. 캐시에서 더 큰 데이터 세트를 사용하면 하이브리드가 79,703 IOPS 읽기 및 34,611 IOPS 쓰기를 갖는 반면 AF DR은 31,205 IOPS 읽기 및 15,830 IOPS 쓰기를 가집니다.

평균 대기 시간으로 하이브리드는 캐시에서 3ms 읽기 및 8ms 쓰기, 캐시에서 4ms 읽기 및 9ms 쓰기를 제공했습니다. 반면에 AF DR은 캐시에서 읽기 5.29ms 및 쓰기 7.46ms, 캐시 밖으로 쓰기 쓰기 5.78ms 및 11.47ms를 제공했습니다.

결론

VMware VSAN 6.2는 조직에 새롭고 흥미로운 방식으로 플래시를 활용하여 효율성과 성능을 모두 높일 수 있는 기회를 제공합니다. 새 릴리스의 주요 기능에는 삭제 코딩, RAID5 지원, 중복 제거 및 압축이 포함되며, 이 모든 것이 용량 관점에서 플래시를 최대한 활용하도록 유도합니다. 데이터 감소 이점은 워크로드 및 구성에 따라 다르지만 3~6배의 용량 향상을 기대하는 것이 합리적입니다. 이것은 기본적으로 상대적으로 저렴한 1TB 드라이브가 3-6TB를 효과적으로 제공할 수 있음을 의미합니다. 이 이점만으로도 6.2는 가치 있는 업그레이드가 되며 플래시는 뛰어난 성능을 발휘할 수 있습니다.

성능으로 전환할 때 올 플래시 구성을 제대로 설명하려면 약간의 미묘한 차이가 필요합니다. VSAN 6.2는 이전에 테스트한 하이브리드 구성과 비교할 때 기하급수적인 이점을 제공하지 않습니다. 이에 대한 몇 가지 근본적인 이유가 있습니다. 우선, Virtual SAN은 디스크 그룹당 단일 스레드이므로 모든 플래시 드라이브를 최대한 효율적으로 활용하는 기능이 제한됩니다. VMware는 시스템 수준에서 VSAN 오버헤드를 최소화하는 데 중점을 두므로 이는 설계상의 결정입니다. 이것은 VMware가 향후 릴리스에서 재조정하기로 선택한 영역일 수 있습니다. 둘째, 데이터 감소 기능을 활성화하면 올플래시 구성에서 하이브리드보다 성능이 저하됩니다. 표면적으로 이것은 문제처럼 보일 수 있지만 데이터 감소 경험이 있는 사람에게는 우리가 본 모든 경우에 엄청난 성능 저하가 있습니다. 우리는 경쟁력 있는 HCI 솔루션으로 오버헤드가 80% 이상 증가하는 것을 여러 번 목격했습니다. 이 컨텍스트는 중요합니다. 데이터 감소가 활성화된 VSAN 올플래시는 이 점에서 실제로 매우 훌륭하게 작동하여 이전 하이브리드 구성이 가능했던 18타일 VMmark 점수와 일치했습니다. 또한 VMware는 All-Flash 구성을 구매하는 대부분의 고객이 데이터 축소 기능을 활성화한 상태로 실행하므로 VSAN 효율성이 매우 중요하다고 밝혔습니다.

현재 데이터 감소는 전체 데이터 저장소에 적용되는 전부 아니면 전무 설정입니다. VMware는 중복 제거 효과를 극대화하기 위해 이렇게 합니다. 데이터 감소 서버 리소스 적중은 이 경우 중요한 판매 포인트인 용량 확장으로 상쇄됩니다. 24노드, 서버당 XNUMX개 드라이브 구성(VSAN에 매우 일반적임)에서 이는 더 작거나 더 적은 SSD를 사용하여 HDD 용량을 맞추거나 초과할 수 있음을 의미합니다. 물론 이것은 SSD가 제공하는 낮은 전력 소비, 냉각 요구 감소 또는 더 넓은 작동 허용 오차와 같은 다른 모든 이점에 추가됩니다.

테스트를 위해 MySQL 및 Microsoft SQL Server OLTP 성능과 VMware 및 HCIbench의 VMmark 가상화 벤치마크를 포함한 다양한 애플리케이션 테스트를 실행했습니다. SQL Server에서 전체 플래시 버전은 12,472.8 TPS의 총 점수로 최고의 성능을 보였습니다. 데이터 감소 기능이 있는 AF(All-Flash)(AF DR)도 집계 점수 11,969.1 TPS로 좋은 성능을 보였습니다. SQL Server 대기 시간을 사용하는 경우 AF VSAN은 전체 대기 시간이 53ms로 하이브리드 버전보다 약 30% 낮은 261ms로 가장 낮았습니다. 당연히 AF DR VSAN은 총 4,273ms로 대기 시간이 훨씬 더 깁니다. SysBench 테스트에서 AF가 하이브리드 버전(4,259~60.1TPS, 조정된 평균 지연 시간 60.3ms~126ms, 최악의 경우 지연 시간 131ms~3,625ms)보다 약간 더 나은 성능을 보였다는 점은 흥미롭습니다. 데이터 감소가 활성화된 상태에서 AF DR VSAN은 성능 저하를 경험했지만 여전히 초당 71개의 확장된 트랜잭션, 212ms의 확장된 평균 대기 시간, XNUMXms의 최악의 대기 시간을 가졌습니다.

VMmark 및 데이터 감소가 활성화된 상태에서 AF DR VSAN은 18타일에 도달할 수 있었습니다(이전 최고의 데이터 감소 시스템은 8타일만 도달함). 따라서 AF DR VSAN은 VMmark 테스트에서 데이터 감소를 통해 최고 성능의 스토리지 어레이가 되었습니다. 우리가 살펴본 마지막 테스트는 시스템의 최대 기능을 보여주지는 않지만 AF DR VSAN과 하이브리드 VSAN을 비교할 수 있는 좋은 메트릭을 제공하는 HCIbench였습니다. 4k HCIbench 테스트에서 AF DR VSAN은 특히 읽기에서 캐시 내 및 캐시 유출 테스트 모두에서 하이브리드 버전을 능가했습니다. AF DR은 4MB/s, 1,1414 IOPS, 평균 대기 시간 361,923ms의 0.9k 읽기 수를 달성할 수 있었습니다. 8k 70/30 테스트를 보면 하이브리드가 캐시 내에서 더 나은 성능을 보였고 AF DR은 캐시에서 유출되었을 때 극적으로 더 나은 성능을 보였습니다. 32k 순차 테스트에서 하이브리드 VSAN은 AF DR VSAN보다 캐시 안팎에서 더 나은 성능을 보였습니다.

이 리뷰에서는 초기 하이브리드 VSAN 구성과 올플래시 배포를 많이 비교했습니다. 하이브리드는 초기 테스트에서 잘 버텼고 오늘날에도 여전히 강점을 보여줍니다. 캐시 계층이 하이브리드 구성에서 동일하고 모든 플래시 구성 및 작업 세트가 캐시 내부에 남아 있는 경우 둘의 성능은 상대적으로 비슷합니다. 그러나 전체 플래시 구성은 플래시가 제공하는 중요한 이점 외에도 6.2의 모든 새로운 기능을 통해 이점을 얻습니다. 또한 데이터 감소와 결합된 SSD에 대한 가격 인하 압력으로 인해 모든 플래시 VSAN이 하이브리드보다 TB당 비용 효율성이 더 높아질 수 있습니다.

장점