거의 24년 전에 우리는 2U 섀시에 24개의 NVMe 베이와 트윈 컴퓨팅 노드가 있는 Viking Enterprise Solutions(VES) 스토리지 서버에 대한 검토를 완료했습니다. VES는 시장에서 가장 혁신적인 스토리지 서버 시스템을 만드는 주요 OEM입니다. 최근에 우리는 단일 포트 NVMe 드라이브용으로 조정된 스토리지 서버 버전을 직접 체험할 수 있는 기회를 가졌습니다. 당연히 우리는 5316개의 Solidigm P30.72 750TB QLC SSD를 가져와서 서버에 넣고 거의 XNUMXTB의 RAW 플래시가 무엇을 할 수 있는지 보기 위해 뒤로 물러섰습니다.
거의 24년 전에 우리는 2U 섀시에 24개의 NVMe 베이와 트윈 컴퓨팅 노드가 있는 Viking Enterprise Solutions(VES) 스토리지 서버에 대한 검토를 완료했습니다. VES는 시장에서 가장 혁신적인 스토리지 서버 시스템을 만드는 주요 OEM입니다. 최근에 우리는 단일 포트 NVMe 드라이브용으로 조정된 스토리지 서버 버전을 직접 체험할 수 있는 기회를 가졌습니다. 당연히 우리는 5316개의 Solidigm P30.72 750TB QLC SSD를 가져와서 서버에 넣고 거의 XNUMXTB의 RAW 플래시가 무엇을 할 수 있는지 보기 위해 뒤로 물러섰습니다.
OEM 작업 외에도 VES는 다양한 HPC 및 하이퍼스케일 고객에게 판매합니다. 이는 기존 엔터프라이즈 영역 외부의 스토리지 서버 성능을 고려할 때 대규모 데이터 풋프린트를 가진 조직이 스토리지를 구성하는 방식이 다르기 때문에 중요한 고려 사항입니다.
이러한 서버가 대상으로 하는 많은 워크로드는 성능이 중요하고 데이터 가용성이 약간 낮은 최신 분석 및 AI 애플리케이션으로 간주됩니다. 따라서 이러한 구성은 데이터 서비스와 복원력이 주요 초점인 기존 SAN과 같지 않습니다. 이 예에서는 I/O 카드를 추가하고 서버를 공유 스토리지로 활용하는 대신 VES 스토리지 서버 내에서 최적의 성능을 위해 구성하고 있습니다.
이 구성 뉘앙스가 중요합니다. 시스템 후면에 있는 각 AMD EPYC 컴퓨팅 노드에 P12 SSD 5316개를 제공하고 있습니다. 이러한 노드는 데이터 가용성에 대한 애플리케이션 수준 복원력을 가정하여 JBOD의 스토리지를 처리합니다. 이 보고서에 GPU를 활용하지는 않았지만 분석 또는 추론 워크로드를 위해 NVIDIA A2와 같은 것으로 해당 노드를 구성하는 것이 상당히 합리적입니다.
서버 및 스토리지 구성에 대해 자세히 살펴보기 전에 이 작업의 일부인 주요 하드웨어 구성 요소를 살펴보겠습니다.
Viking Enterprise Solutions VSS2249P 스토리지 서버
이 작업을 위해 전면에 있는 24개의 Solidigm P5316 30.72TB SSD를 최대한 활용할 수 있는 강력한 서버를 찾기 위해 VES를 찾았습니다. 이것은 사소한 문제가 아닙니다. 단일 포트 드라이브는 AMD 서버 노드 중 하나에서 각 드라이브로 4개의 PCIe v5316 레인을 제공할 수 있는 솔루션에서 최고의 성능을 발휘합니다. 다이렉트 액세스는 대역폭을 제한할 수 있는 내부 확장기를 통한 흐름과 달리 각 SSD에서 최고의 성능을 제공합니다. 또한 이 시스템은 이중 포트 SSD용으로 설계된 이전 Viking Enterprise Server의 검토와 비교하여 Solidigm PXNUMX과 같은 단일 포트 SSD용으로 설계되었습니다.
Viking 엔터프라이즈 솔루션 VSS2249P 하이라이트
Viking Enterprise Solutions VSS2249P는 단일 포트 U.2 PCIe v24 드라이브용 베이 2개가 있는 4U 듀얼 노드 스토리지 서버입니다. 보다 구체적으로, 각 서버 노드(또는 모듈)는 x12 PCIe Gen2.5 레인을 통해 2개의 단일 포트, 핫 플러그 가능 NVMe 8639인치 U.4(SFF-4) SSD를 지원하여 성능 중심 서버가 됩니다. 따라서 에지 컴퓨팅 스토리지, 분석, 기계 학습, AI, OLTP 데이터베이스, 고주파 거래, 모델링, 시뮬레이션, 과학 연구 및 다른 고성능 사용 사례.
VES는 고성능 및 클라우드 컴퓨팅 엔터프라이즈 OEM 고객을 위한 대규모 솔루션 개발을 전문으로 하는 선도적인 스토리지 및 서버 개발 회사입니다. 광범위한 고객 포트폴리오로 인해 솔루션을 개발할 때 최신 기술을 활용하여 고객에게 경쟁 우위를 제공하는 데 도움이 되는 광범위한 경험을 보유하고 있습니다. 우리는 VSS2249P에서도 같은 것을 기대합니다.
솔리드다임 D5-P5316
이전에 우리 연구실에 이 서버가 있었지만 이번에는 30.72TB로 채웠습니다. 솔리드다임 D5-P5316 PCIe Gen4 NVMe SSD는 U.2 15mm 폼 팩터를 통한 스토리지의 거의 5/5316 페타바이트에 해당합니다. 이를 통해 고객(특히 하이퍼스케일 공간)이 대규모 배포를 할 수 있습니다. D144-PXNUMX 드라이브는 또한 XNUMX단 QLC NAND를 갖추고 있어 고용량 모델과 견고한 성능을 유지하면서 비용을 절감할 수 있습니다.
D5-P5316은 순차 읽기에서 최대 7GB/s를 제공하는 반면 30.72TB 모델은 3.6GB/s로 쓰기에서 조금 더 빠른 속도를 제공합니다. 무작위 4K 읽기에서 Solidigm은 모든 모델에 대해 800,000 IOPS의 새 드라이브를 인용합니다. 이 드라이브는 또한 0.41 DWPD(drive writes per day) 등급, 5년 보증, AES-256 하드웨어 암호화, NVMe 새니타이제이션 및 펌웨어 측정을 포함한 다양한 향상된 보안 기능을 제공합니다.
이러한 드라이브는 CDN(Content Delivery Networks), HCI(Hyper-Converged Infrastructure) 및 빅 데이터와 같은 데이터 센터 워크로드 내에서 스토리지를 최적화하고 가속화해야 하는 환경에 이상적입니다.
전반적으로 우리는 Solidigm이 VSS2249P에 완벽한 용량, 성능 및 비용 간의 뛰어난 균형을 찾는 드라이브를 만들었다는 것을 발견했습니다.
Viking Enterprise Solutions VSS2249P 구성 요소 및 빌드
VSS2249P 인클로저 내부의 16개 서버 모듈은 핫스왑이 가능하며 AMD EPYC Rome CPU, 4개의 x3.0 PCIe Gen4 슬롯, Gen 8 PCIe 애드인 카드 및 최대 3.43개의 DIMM을 지원하는 17.2개의 OCPNIC v27.44이 장착되어 있습니다. 2249인치(H) x 19인치(W) x 1.0인치(D)의 VSSXNUMXP는 업계 표준 XNUMX인치, XNUMX미터 랙에도 잘 맞도록 사양이 지정되어 다양한 응용 프로그램.
구성의 각 노드에는 AMD EPYC 7402P CPU가 포함되어 있으며, 이 CPU에는 24개의 코어, 기본 클럭 2.8GHz(최대 부스트 3.35GHz), 48개의 스레드 및 L128 캐시의 3MB가 있습니다. 또한 64GB DDR4 RAM(8 x 8GB)과 250GB M.2 부팅 SSD가 장착되어 있습니다.
VSS2249P는 케이블이 없는 시스템으로 설계되었습니다. 예를 들어 드라이브 플레인은 전원, 데이터, 관리 및 PSU를 위한 연결을 제공합니다. 시스템 팬은 또한 서버 슬레드 어셈블리(팬 보드를 통해 드라이브 플레인에 연결됨)의 일부이며 드라이브 플레인에 의해 전원이 공급되고 제어됩니다. 쉽게 접근할 수 있도록 상단 덮개를 통해 팬을 제거합니다. 모든 SSD는 미드플레인에 직접 연결됩니다. 이로 인해 VSS2249P를 원활하게 서비스할 수 있으며 케이블이 없어 공기 흐름이 개선되어 서버 노드가 더 시원해집니다.
바이킹 VSS2249P 사양
| Enclosure | 2노드, 단일 포트 드라이브 |
| 4세대 PCIe 슬롯 | x16 HH/HL 16개, x3 Gen OCP vXNUMX XNUMX개 |
| NTB | N/A |
| 서버 캐니스터 | 단일 CPU, DDR8 DIMM 슬롯 4개 |
| 펌웨어 |
|
| CPU | EPYC(ROME 또는 MILAN) CPU |
| 관리 네트워크 | 1GbE – 관리 포트 |
| 서버 |
|
| 메모리 |
|
| 외부 인터페이스 | USB 1개, Displayport 1개, 1Gb IPMI, MicroUSB 콘솔 포트 1개 |
| AC 전원 |
|
| 핫 스왑 가능한 구성 요소 |
|
| 운영 환경 |
|
| 비작동 환경 |
|
| 2U 인클로저 크기 및 무게 |
|
24 x Solidigm D5-P5316 성능 테스트
우리 대부분은 QLC 플래시를 TLC SSD에 대한 성능이 낮은 대안으로 생각하지만 이는 방정식의 한쪽 면만 보는 것입니다. 작은 블록 임의 쓰기 성능은 거친 간접 지정과 같은 아키텍처 결정으로 인해 낮을 수 있지만 순차 쓰기 및 큰 블록 임의 쓰기 성능은 매우 경쟁력이 있으며 엔트리 레벨 TLC DC SSD에 매우 가깝습니다.
시장에 나와 있는 TLC 기반 플래시를 사용하면 쓰기 속도는 더 느리지만 읽기 성능은 완전히 경쟁력이 있지는 않더라도 여전히 높은 능력을 발휘합니다. 이 검토에서 우리의 초점은 24노드 서버 내에서 5316개의 Solidigm P30.72 2TB SSD를 활용하여 충분한 컴퓨팅을 통해 얼마나 멀리 밀어낼 수 있는지 보여주는 것이었습니다.
유사한 Viking Enterprise Solutions 시스템을 마지막으로 살펴보았을 때 두 노드에서 24개의 SSD를 공유하도록 구축되었으며 각 노드는 각 SSD에 대한 다중 경로 액세스를 가집니다. VSS2249P는 백엔드에서 유사한 노드를 사용하지만 12개의 SSD가 한 노드에 직접 연결되고 나머지 12개는 다른 노드에 직접 연결됩니다. 이렇게 하면 각 SSD에 연결된 노드로 돌아가는 PCIe Gen4 레인의 전체 4채널이 제공됩니다.
우리는 각 서버에 Ubuntu 20.04를 설치하고 FIO를 활용하여 24개의 Solidigm P5316 SSD를 모두 동시에 포화시켰습니다. 각 SSD는 순차적 채우기로 완전히 채워진 다음 드라이브 표면의 5%에 워크로드 풋프린트에 집중하도록 분할되었습니다. 기존 플래시 미디어와 겹치는 QLC 최적화 블록 크기에 중점을 두었습니다. 주요 차이점은 64K보다 작은 쓰기 활동을 최소화하는 것으로 귀결되며, 이는 QLC 플래시의 쓰기 간접 문제를 강제합니다. 즉, 우리가 측정한 워크로드는 다음과 같습니다.
- 1MB 순차
- 64K 순차
- 64K 랜덤
- 64K 랜덤 70R/30W
- 64K 랜덤 90R/10W
- 4K 랜덤 읽기
1MB 순차 전송 크기를 사용한 첫 번째 테스트에서 P175.5 SSD 24개에서 놀라운 5316GB/s의 대역폭을 측정했습니다. 이것은 프런트 엔드에서 SSD당 7.3GB/s 이상으로 작동했습니다. 순차 1M 쓰기 워크로드에서 해당 양은 SSD당 56.1GB/s 또는 2.34GB/s로 측정되었습니다.
블록 크기를 64K 워크로드로 줄인 Solidigm P5316 SSD는 159GB/s의 대역폭 또는 SSD당 6.62GB/s 이상을 제공했습니다. 쓰기 워크로드는 SSD당 57.7GB/s 또는 2.40GB/s로 측정되었습니다.
모든 워크로드가 순차적이지 않기 때문에 우리는 더 까다로운 64K 랜덤 작업 세트로 이동하여 QLC SSD를 가장 스트레스가 많은 상황 중 하나로 만들었습니다. 읽기 트래픽은 미친 176.3GB/s의 트래픽으로 가장 높은 대역폭을 보였습니다. 그러나 읽기에서 쓰기로 전환할 때 P5316 SSD는 드라이브당 13.2GB/s 또는 550MB/s로 가장 많은 스트레스를 받았습니다. 이것은 이 워크로드에 대한 사양 시트 수치와 일치하지만 이러한 SSD가 한계에 도달하는 지점을 보여줍니다.
64K 임의 읽기가 최고의 드라이브 성능을 제공하고 쓰기가 가장 낮은 성능을 제공한다는 사실을 알고 있기 때문에 혼합 워크로드 조합을 살펴보고 읽기/쓰기 균형이 이동함에 따라 이러한 드라이브가 어떻게 달라지는지 확인했습니다. 70% 읽기 64K 임의 워크로드에서 드라이브 그룹은 44GB/s를 측정했습니다. 그러나 읽기 속도를 90%로 조정했을 때 대역폭은 최대 130.7GB/s까지 증가했습니다. 이것은 모든 상황에서 TLC SSD를 대체하도록 설계되지는 않았지만 올바른 상황에 배치된 QLC SSD가 강력한 드라이브가 될 수 있는 지점을 더욱 강화합니다.
테스트를 마무리하면서 4K 랜덤 읽기 성능에 초점을 맞춘 최대 처리량 테스트를 살펴보았습니다. 이러한 드라이브는 4K의 대략적인 간접 단위를 사용하고 64K에서 최고의 성능을 제공하지 않으므로 4K 쓰기는 건너뛰었습니다. 4K 임의 읽기에서 거의 87GB/s의 4K 트래픽 또는 21.2만 IOPS를 측정했습니다. 이는 시장의 TLC SSD 제품과 밀접하게 일치하는 인상적인 통계입니다.
최종 생각
우리는 과거에 Solidigm의 QLC SSD로 광범위한 작업을 수행했지만 지금까지 수행한 작업 중 가장 중요한 작업으로 거의 750TB의 스토리지를 2U 서버에 담았습니다. 우리는 분석 및 추론과 같은 애플리케이션이 최신 플랫폼 설계를 활용할 수 있는 구성에서 드라이브가 어떻게 작동하는지 살펴보고 싶었습니다. QLC에 대한 일반적인 느낌은 가치 또는 아카이브 프로젝트에만 적합하지만 이는 진실에서 멀어질 수 없습니다.
성능을 살펴보면 VES VSS5316P 스토리지 서버의 P2249 SSD가 놀라운 결과를 게시할 수 있음을 알 수 있습니다. 대형 블록 순차 성능은 서버 포화 상태이며 각 SSD는 읽기 성능에서 Gen4 U.2 베이를 거의 최대치로 끌어올립니다. 175.5M 읽기에서 1GB/s를 측정했으며 SSD당 7.3GB/s로 계산되었습니다.
임의 읽기 성능도 훌륭하여 176.3K 블록 크기에서 64GB/s를 기록했습니다. 그러나 쓰기 성능에 만족하지 마십시오. 드라이브는 차단된 대규모 워크로드에서 매우 잘 작동했습니다. 64K 순차 쓰기는 57.7GB/s, 64K 랜덤 쓰기는 13.2GB/s로 줄었습니다. 읽기 활동에 중점을 둔 혼합 워크로드는 꽤 잘 수행되었으며, 44K 64/70에서 30GB/s, 131K 64/90에서 10GB/s에 조금 못 미쳤습니다. 마지막으로 작은 블록 임의 읽기의 경우 86.9K 워크로드에서 놀라운 21.2GB/s 또는 4M IOPS를 측정했습니다.
과거에 우리는 이것의 이중 노드 HA 버전으로 작업했습니다. 바이킹 엔터프라이즈 서버 듀얼 포트 TLC SSD를 활용합니다. 정확히 일치하는 것은 아니지만 이러한 QLC SSD가 TLC 솔루션에 대해 매우 잘 견딘다는 것을 보여주는 몇 가지 흥미로운 추세선이 있습니다.
두 드라이브 세트는 125K 순차 읽기에서 5316GB/s를 측정하는 TLC SSD와 159GB/s를 측정하는 Solidigm P64 QLC SSD로 엄청난 양의 대역폭을 구동할 수 있었습니다. 63.2K 순차 쓰기에서 TLC SSD는 64GB/s, P5316은 57.7GB/s로 쓰기 성능도 비슷했습니다.
이 데이터는 QLC가 모든 애플리케이션에서 TLC를 완전히 대체한다는 의미는 아닙니다. TLC는 쓰기 비율과 내구성에 대한 필요성이 증가함에 따라 여전히 큰 이점이 있습니다. 그러나 많은 사용 사례에서 QLC SSD는 배포 준비가 되어 있으며 특히 워크로드가 쓰기 집약적이지 않은 경우 TLC 경쟁사보다 더 빠를 수 있습니다.
또한 용량과 성능의 조화가 필요한 경우 QLC DC SSD가 승자가 될 것입니다. 이는 QLC와 향후 PLC SSD가 제공할 수 있는 고유한 조합입니다. 175U 스토리지 PB의 거의 3/4에 걸쳐 이 VES 스토리지 서버에서 2GB/s 이상을 게시한 것을 감안할 때 랙 효율성은 상당히 매력적으로 보입니다.
Solidigm은 이 보고서를 후원합니다. 이 보고서에 표현된 모든 견해와 의견은 고려 중인 제품에 대한 우리의 공정한 견해를 기반으로 합니다.
StorageReview에 참여
뉴스레터 | 유튜브 | 팟캐스트 iTunes/스포티 파이 | 인스타그램 | 트위터 | 페이스북 | RSS 피드
