Quantum Myriad는 까다로운 AI 작업을 포함하여 다양한 워크로드를 처리할 수 있는 현대적이고 유연한 SDS 플랫폼입니다.
2023년에 Quantum은 Myriad를 통해 소프트웨어 정의 스토리지에 대한 새롭고 현대적인 해석을 출시했습니다. 우리는 Myriad에 대해 자세히 알아보기 작년 말에 매우 유능하고 탄력적인 아키텍처에 깊은 인상을 받았습니다. Myriad의 다양한 기능 세트와 프로토콜 유연성은 기업 파일 공유 요구 사항을 넘어 사용 사례의 범위를 확장합니다. 그리고 현재 AI보다 더 수요가 많은 애플리케이션은 없습니다.
AI는 의사 결정에 새로운 통찰력을 제공하고, 복잡한 프로세스를 자동화하며, 기업이 고객과 상호 작용하고 운영을 관리할 수 있는 새로운 방법을 창출함으로써 기업 환경을 근본적으로 변화시키고 있습니다. AI가 영향을 미치는 몇 가지 주요 영역은 다음과 같습니다.
자동화: AI는 챗봇을 통해 데이터 입력, 고객 지원 등 일상적이고 오류가 발생하기 쉬운 작업을 자동화하고 공급망 관리와 같은 복잡한 프로세스를 최적화하는 방법도 찾습니다. 이를 통해 시간이 절약되고 사람들이 보다 창의적이거나 전략적인 작업에 집중할 수 있습니다.
데이터 분석: 방대한 데이터 더미를 파헤쳐 인간보다 더 빠르게 패턴과 인사이트를 찾아냅니다. 이는 기업이 더 현명한 결정을 내리고, 시장 동향을 예측하고, 고객을 더 잘 이해하는 데 도움이 됩니다.
개인화: 기업은 AI를 사용하여 Netflix나 Spotify에서 볼 수 있듯이 사용자가 무엇을 좋아하는지 학습하는 추천 엔진과 같이 개별 고객에게 서비스와 마케팅을 맞춤화합니다.
보안 강화: AI는 사이버 보안의 큰 역할을 하며 위협을 즉각적으로 감지하고 대응할 수 있도록 도와줍니다. 항상 경계하며 수상한 것이 있는지 검색합니다.
혁신: AI는 제품 디자인, 모양과 느낌, 유지 관리의 모든 측면을 시뮬레이션하여 의약품부터 신소재까지 새로운 제품과 서비스 개발을 지원함으로써 혁신을 주도합니다. 의약품에 대한 물리적 실험 이전에 결과를 예측할 수도 있습니다.
확장성과 유연성의 과제
레거시 스토리지 시스템은 대용량 데이터를 생성하고 처리하는 AI 애플리케이션에 중요한 기능인 효율적인 확장에 실패하는 경우가 많습니다. 기존 스토리지에는 용량을 늘리기 위해 상당한 가동 중지 시간이나 복잡한 업그레이드, 네트워킹 구성 및 할당이 필요할 수 있습니다. 이는 빠른 확장성, 다운타임 제로, 성능 저하 없는 모델 배포가 필요한 동적 AI 환경에서는 실현 가능하지 않습니다.
AI 워크로드에도 높은 처리량이 필요합니다. and 동시에 낮은 대기 시간. 일반적으로 기계식 드라이브와 오래된 네트워킹을 갖춘 레거시 시스템은 이러한 속도 요구 사항을 충족할 수 없어 AI 작업을 방해하는 병목 현상이 발생합니다. 최신 AI는 NVMe 및 GPU 가속과 같은 더 빠른 기술의 이점을 크게 활용하며 이러한 기술은 종종 이전 시스템과 호환되지 않습니다.
AI 애플리케이션에는 다양한 소스의 실시간 데이터 액세스 및 분석이 필요합니다. 종종 사일로화된 레거시 스토리지는 데이터 통합 및 이동을 방해하여 효과적인 데이터 분석 및 기계 학습을 제한합니다. 레거시 관리 도구는 AI에 필요한 복잡한 데이터 거버넌스와 자동화된 계층화에도 어려움을 겪습니다.
레거시 스토리지 유지 관리 및 업그레이드는 전력, 냉각, 공간에 대한 높은 운영 비용을 포함하여 AI 수요에 비해 비용이 많이 들고 비효율적입니다. 새로운 기술을 지원하기 위해 기존 시스템을 개조하는 것은 경제적으로 지속 불가능합니다.
AI는 자동화된 계층화, 실시간 분석, 암호화와 같은 강력한 보안 조치와 같은 최신 스토리지 기능을 통해 발전합니다. 레거시 시스템에는 AI 데이터를 보호하고 규제 표준을 충족하는 데 필수적인 이러한 중요한 기능이 부족합니다.
AI의 혁신적인 잠재력을 활용하려면 데이터 관리 및 스토리지 인프라를 현대화하는 것이 중요합니다. AI 복잡성을 위해 설계된 차세대 스토리지 솔루션은 성능, 확장성 및 비용 효율성을 크게 향상시켜 혁신적인 애플리케이션과 비즈니스 모델을 육성할 수 있습니다.
Quantum Myriad를 만나보세요
Quantum Myriad는 현대 애플리케이션, 특히 높은 처리량과 짧은 대기 시간이 필요한 애플리케이션의 요구 사항을 충족하도록 설계된 고성능 소프트웨어 정의 올플래시 스토리지 솔루션입니다. 이는 AI, 데이터 과학, VFX 및 애니메이션의 경우 특히 그렇습니다. Myriad의 클라우드 네이티브 아키텍처는 온프레미스든 AWS와 같은 퍼블릭 클라우드 환경이든 상관없이 유연성, 배포 용이성, 시스템 변경에 대한 자동 대응을 제공합니다.
Myriad의 설계는 일관되게 낮은 대기 시간과 높은 대역폭을 제공하는 데 중점을 두고 있습니다. 이러한 품질은 초고속 데이터 처리와 실시간 성능을 요구하는 애플리케이션에 꼭 필요한 요소입니다.
Myriad의 아키텍처는 매우 유연하며 소규모 및 대규모 배포를 모두 쉽게 수용합니다. 소규모 시스템으로 시작한 다음 무수한 클러스터를 확장하는 것은 쉽습니다. 더 많은 노드를 추가하면 효율성과 균형을 유지하면서 선형적으로 확장됩니다.
Myriad를 사용하여 클러스터를 관리하는 것은 간단합니다. 클릭이 필요 없는 스토리지 확장 및 사용자 친화적인 관리 포털과 같은 기능이 포함되어 있어 지속적인 관리 작업의 필요성을 줄여줍니다. Myriad는 노드 전체에 분산된 트랜잭션 키-값 저장소를 통해 데이터 무결성을 보장하며 사용 가능한 모든 스토리지 노드에서 오류 수정이 관리됩니다.
Myriad는 인상적인 네트워킹 지원을 제공합니다. RoCE(RDMA over Converged Ethernet) 지원과 BGP 라우팅을 통한 기존 네트워크 배포와의 통합을 통해 데이터는 고급 네트워킹 기능을 활용하는 동시에 Myriad 클러스터 안팎으로 쉽게 이동할 수 있습니다.
Myriad는 사용자 친화적으로 설계되었으며 추가 공유 위치를 설정 및 실행하거나 추가하는 데 최소한의 단계만 필요합니다. 이는 특히 솔루션이 표준 기성 서버에서 실행되기 때문에 변화하는 스토리지 요구 사항에 신속하게 적응해야 하는 기업에 적합합니다. 또한 클라우드를 고려하고 있다면 Myriad는 AWS와 같은 플랫폼과 잘 작동하므로 온프레미스 설정 이상으로 확장할 수 있습니다.
테스트된 양자 무수한 구성
테스트된 Quantum Myriad는 15개 노드의 기본 구성이었습니다. 각 노드에는 XNUMX개의 XNUMXTB SSD가 장착되어 클러스터 전체에서 상당한 양의 빠른 액세스 스토리지를 제공합니다. 이 기본 설정을 통해 실시간 처리 및 AI 계산에 필수적인 높은 I/O 작업 및 빠른 데이터 검색에 필요한 속도를 유지하면서 상당한 데이터 저장 용량을 허용했습니다. 스토리지 노드는 SuperMicro에서 지정 및 구성되며 NVMe 드라이브는 Samsung에서 쉽게 구입할 수 있습니다.
테스트한 대로 우리는 각각 다음과 같은 주요 사양을 갖춘 5개 노드 클러스터로 구성된 Myriad 플랫폼을 사용했습니다.
- 단일 1010코어 AMD EPYC CPU를 탑재한 Quantum Myriad N64 스토리지 노드
- 10TB NVMe TLC 15.36개
- 2개의 듀얼 포트 100GbE 이더넷 포트
Myriad의 핵심은 모든 스토리지 노드에 교차 연결된 중복 쌍으로 배포된 로드 밸런서 노드입니다. 이는 스토리지 노드에서 들어오고 나가는 데이터 트래픽을 관리하는 데 중요합니다. 로드 밸런서 쌍은 네트워크 트래픽이 스토리지 노드 간에 균등하게 분산되도록 보장하여 단일 노드가 병목 현상을 일으키는 것을 방지합니다. 동시 데이터 액세스 및 처리가 필요한 경우 이는 데이터 액세스의 속도와 안정성이 전체 시스템 성능에 큰 영향을 미칠 수 있는 환경에서 매우 중요합니다.
여러 노드와 로드 밸런서를 사용하면 성능이 향상되고 시스템의 안정성과 내결함성이 향상됩니다. 스토리지와 네트워크 로드를 분산하면 한 노드에 문제가 발생하더라도 시스템이 계속해서 효율적으로 작동할 수 있습니다. 이 설정은 중요한 비즈니스 애플리케이션에서 가동 시간을 유지하고 데이터 무결성을 보장하는 데 필수적입니다.
기본 구성은 유연하게 설계되었으며 필요에 따라 더 많은 스토리지 노드를 추가하여 확장할 수 있습니다. 추가 노드를 통합하거나 밀도가 더 높은 NVMe 드라이브를 사용하거나 둘 다를 사용하여 스토리지 용량을 확장할 수 있습니다. 예를 들어, 현재 30TB 드라이브를 사용하는 시스템에 15TB 드라이브가 장착된 새 스토리지 노드를 추가하거나 기존 설치 공간 내에서 밀도가 더 높은 드라이브 모듈로 업그레이드할 수 있습니다. 이러한 확장성은 데이터 요구 사항이 증가할 것으로 예상되거나 다양한 데이터 사용 패턴을 경험할 것으로 예상되는 기업에 필수적입니다.
Comino GPU 로드 생성 서버
Myriad 시스템을 실행하고 벤치마크를 생성하기 위해 우리는 한 쌍의 Comino Grando 시스템을 사용했습니다. Comino Grando 시스템은 부하 시 GPU 효율성과 안정성을 극대화하도록 특별히 설계된 고성능 수냉식 설정입니다. AI, 데이터 분석, 그래픽 집약적인 애플리케이션에서 발생하는 것과 같은 집약적인 계산 작업에 특히 적합합니다. 다음은 이 테스트를 위해 구성한 주요 측면에 대한 요약입니다.
| 그란도 서버 | 그란도 워크스테이션 | |
|---|---|---|
| CPU | 스레드리퍼 프로 W5995WX | 쓰레드리퍼 프로 3975WX |
| 숫양 | RAM 512GB | RAM 512GB |
| GPU | 2X 엔비디아 A100 | 2X 엔비디아 A100 |
| NIC | 4x NVIDIA ConnectX 6 200G EN/IB | 4x NVIDIA ConnectX 6 200G EN/IB |
| PSU | 4w PSU 1600개 | 3 SFX-L PSU 1000개 |
| 스토리지 | 2TB NVMe | 2TB NVMe |
Comino Grando는 프로세서와 GPU를 위한 정교한 액체 냉각 시스템을 활용합니다. 이 시스템에는 누수 없는 연결과 격렬한 부하에서도 성능을 유지하기 위해 냉각수 흐름을 효율적으로 관리하는 대형 물 분배 블록이 포함됩니다. 이 설정은 성능을 향상시키고 소음을 최소화합니다.
사용법 - nvidia-smi top -mp 명령은 시스템의 GPU 및 NIC 매핑과 데이터가 취해야 하는 경로를 표시합니다. 전설은 다음과 같습니다.
X = 셀프 SYS = NUMA 노드 간 SMP 상호 연결 및 PCIe를 통과하는 연결 (예: QPI/UPI) 마디 = NUMA 노드 내 PCIe 호스트 브리지 간 상호 연결 및 PCIe 통과 연결 PHB = PCIe 및 PCIe 호스트 브리지를 통과하는 연결 (일반적으로 CPU) PXB = 여러 PCIe 브리지를 통과하는 연결 (PCIe 호스트 브리지를 통과하지 않고) PIX = 다음을 통과하는 연결 가장 단일 PCIe 브리지
여기서 우리는 최적의 성능을 위해 NIC1 및 NIC4와 함께 GPU5을 사용하고 싶지 않다는 것을 알 수 있지만 이는 합성 테스트에서 제한된 역할을 합니다.
양자 무수한 AI 테스트
우리는 Quantum Myriad 스토리지 클러스터의 성능과 이것이 실제 AI 워크로드에 미치는 영향을 평가하기 위해 기술 분석을 수행했습니다. 우리의 분석은 리소스 활용도를 최적화하고 효과적으로 확장하는 클러스터의 능력에 중점을 두었습니다. 이 테스트 전반에 걸쳐 NVIDIA ConnectX-6 200GbE NIC 및 듀얼 NVIDIA A100 GPU가 장착된 고급 Comino 랙 워크스테이션을 사용했습니다. 이는 대규모 AI 프로젝트에 사용될 수 있는 것과 유사한 강력한 테스트 환경을 나타내기 때문에 매우 중요합니다.
우리는 간단한 쉘 스크립트를 활용하여 GDS 테스트 스크립트를 생성하고 출력을 구문 분석했습니다. 스타일 포인트를 위한 ASCII 아트
이러한 테스트의 주요 목적은 Quantum Myriad 클러스터의 집약적인 IO 작업 처리 능력과 AI 계산에 중요한 대용량 GPU의 처리량을 얼마나 잘 수용할 수 있는지 평가하는 것이었습니다. AI 워크로드는 데이터 세트의 신속한 처리에 크게 의존한다는 점을 고려할 때, GPU 처리 기능에 맞는 속도로 데이터를 제공하는 스토리지 솔루션의 능력은 전체 시스템 효율성과 성능에 직접적인 영향을 미칩니다.
여기서 테스트하기 위한 기본 도구는 NVIDIA의 GPUDirect Storage I/O(GDSIO)였습니다. GPUDirect는 스토리지 시스템과 GPU 간의 데이터 전송 효율성을 향상시켜 고성능 컴퓨팅, 인공 지능 및 빅 데이터 분석에 중요한 워크플로를 간소화하도록 설계된 핵심 기술입니다.
이 기술은 실제로 CPU를 우회하여 스토리지에서 GPU 메모리로 직접 메모리 액세스(DMA)를 가능하게 합니다. 이렇게 하면 불필요한 데이터 복사본이 제거되어 대기 시간이 줄어들고 처리량이 향상됩니다. GDSIO는 GPUDirect의 합성 구현이며 특히 대규모 데이터 세트의 신속한 처리가 필요한 애플리케이션을 대표합니다. 여기에는 기계 학습 모델 교육 또는 실시간 데이터 분석이 포함됩니다. 또한 스토리지 및 네트워킹 인프라에 대한 프로파일링 및 튜닝 피드백을 제공합니다.
스토리지 벤치마킹의 맥락에서 GDSIO는 GPU를 많이 활용하는 환경에서 스토리지 솔루션의 성능을 정확하게 평가하는 데 중요한 역할을 합니다. GDSIO는 데이터 전송을 위한 보다 직접적인 경로를 제공함으로써 벤치마킹을 통해 GPU 가속 애플리케이션을 지원하는 스토리지 시스템의 진정한 잠재력을 측정할 수 있습니다.
AI 공유 구성
Myriad에 로그인하면 사용자에게 클러스터의 현재 성능 및 사양에 대한 높은 수준의 개요를 보여주는 대시보드가 표시됩니다. 사용자는 IOPS, 처리량, 대기 시간 및 사용량과 같은 원격 측정 데이터를 쉽게 볼 수 있습니다.
차트 위에 마우스를 올리면 매우 상세한 성능 정보가 제공됩니다.
파일 시스템 화면을 보면 현재 구성된 공유 마운트 지점을 직관적으로 볼 수 있습니다.
노드 페이지는 흥미롭습니다. 포트 활동 및 NVMe 드라이브와 함께 클러스터, 컨트롤러 및 로드 밸런서의 물리적 맵을 보여줍니다.
드라이브 중 하나를 클릭하면 호스트에서 보고한 상태가 표시됩니다.
공유로 이동하면 사용자는 필요에 따라 공유를 쉽게 구성하고 다양한 운영 체제에 마운트하기 위한 지침을 얻을 수 있습니다.
우리는 Quantum과 협력하여 테스트를 위한 전용 NFS 공유를 설정했습니다. 이것들은 다음에 장착되었습니다. /mnt/myriad/
이는 간단한 포인트 앤 클릭 구성 설정을 제공하는 사용자 친화적인 Myriad UI를 사용하여 달성되었습니다. 테스트 기간 동안 SMB 옵션은 Early Access에 있었고 NFS는 Linux 기반 워크로드 시스템에서 선호되는 프로토콜로 유지되었습니다.
NFS 마운트 지점은 500TB의 공간으로 구성되었지만 파일 시스템을 확장하면 필요한 모든 것을 사용할 수 있습니다. 불이익 없이 자유롭게 스토리지를 초과 프로비저닝할 수 있으며 크기 조정에 대한 엄격한 제한도 없습니다. 이는 NVMe SSD의 데이터 공간을 본질적으로 줄이는 Myriad의 데이터 압축을 고려할 때 매우 흥미로워집니다.
호스트당 하나의 마운트 지점이 있는 각 GPU에는 NFSv4 제한을 피하기 위해 자체 NIC를 사용하는 자체 하위 폴더가 있습니다.
Quantum Myriad AI 결과 및 분석
먼저, 로드 생성 실행 중 하나의 전반적인 성능을 살펴보겠습니다. 스토리지에 대한 하나의 GPU 관점의 이 샘플은 모든 노드/GPU에서 볼 수 있는 성능을 나타냅니다.
| 입출력 유형 | IO 크기(KiB) | 처리량(GiB/초) | 평균 지연 시간(usecs) | 행정부 |
|---|---|---|---|---|
| 랜드라이트 | 1024 | 2.57 | 10,087.74 | 78,820 |
| 랜드리드 | 1024 | 6.92 | 2,277.86 | 209,319 |
| 랜드라이트 | 4096 | 3.44 | 18,193.14 | 56,616 |
| 랜드리드 | 4096 | 3.64 | 6,481.70 | 73,715 |
| 랜드라이트 | 4 | 0.03 | 2,307.57 | 237,512 |
| 랜드리드 | 4 | 0.12 | 497.05 | 941,971 |
| 쓰다 | 1024 | 2.79 | 5,609.64 | 94,017 |
| 독서 | 1024 | 3.11 | 5,021.91 | 95,556 |
| 쓰다 | 4096 | 2.77 | 22,551.26 | 31,716 |
| 독서 | 4096 | 3.50 | 17,875.32 | 31,871 |
| 쓰다 | 4 | 0.08 | 812.93 | 580,169 |
| 독서 | 4 | 0.12 | 507.34 | 926,909 |
테스트 결과는 다양한 IO 작업 및 규모 전반에 걸쳐 Myriad의 성능에 대한 중요한 통찰력을 보여줍니다. 우리가 발견한 것 중 일부는 다음과 같습니다:
- 소형 및 대형 블록 성능: 테스트에서는 소형(4KiB) 블록 크기와 대형(1024KiB 및 4096KiB) 블록 크기를 처리할 때 처리량 및 대기 시간에 현저한 차이가 있음을 보여줍니다. 예를 들어, 4096KiB의 대규모 블록 RANDREAD 작업은 약 9.64GiB/초의 가장 높은 처리량을 보여주었으며 평균 대기 시간은 6,481.70마이크로초로 상대적으로 낮았습니다. 이는 대규모 데이터 세트에 자주 액세스하는 기계 학습 모델 훈련에서 흔히 발생하는 대규모 데이터 처리 작업에 탁월한 성능을 나타냅니다.
- GPU 포화 기능: 대규모 블록 테스트, 특히 RANDREAD 작업에서 달성한 처리량은 Myriad 스토리지 클러스터가 추론 검색 유형 워크로드에서 NVIDIA A100 GPU를 지원하고 워크로드 훈련 중에 체크포인트를 중앙 위치로 오프로드하는 데 상당한 능력이 있음을 시사합니다. A100이 딥 러닝을 위해 막대한 양의 데이터를 처리할 수 있다는 점을 감안할 때 이러한 GPU가 데이터를 기다리며 유휴 상태로 남아 있지 않도록 보장하여 계산 효율성을 극대화하려면 높은 처리 속도가 필수적입니다.
- 낮은 블록 크기 처리: 반대로, 4KiB 블록을 사용하는 작업을 조사할 때 작업 수와 대기 시간이 크게 증가하고 처리량이 크게 감소하는 것을 관찰했습니다. 이 시나리오는 온라인 트랜잭션 처리 시스템이나 수많은 작은 쿼리를 처리하는 데이터베이스와 같이 여러 개의 작은 파일 트랜잭션이 발생하는 환경의 성능을 이해하는 데 중요합니다.
하지만 잠깐, 더 있습니다!
4K 테스트에 초점을 맞춘 Myriad에 더 많은 GPU를 탑재하면서 상황이 흥미로운 방향으로 바뀌었습니다. 발견 단계의 초기 실행에서 발견된 마운팅 프로토콜의 제한으로 인해 Myriad는 의도한 대로 작동했지만 놀라운 반전이 있었습니다. 일부 스크립팅 해킹 덕분에 모든 GPU에 동시에 Myriad를 로드했을 때 결과는 인상적이었습니다. Myriad는 기본적으로 모든 노드에 동시에 동일한 성능을 제공했습니다.
4K 파일 크기
다음은 4K 워크로드의 XNUMX개 동시 실행을 편집한 것입니다.
| 노드 | 입출력 유형 | 처리량(MiB/초) | 평균 지연 시간(usecs) | 행정부 |
|---|---|---|---|---|
| 1 | 랜드리드 | 125.73 | 497.05 | 941,971 |
| 2 | 랜드리드 | 121.29 | 506.67 | 907,642 |
| 3 | 랜드리드 | 128.37 | 474.73 | 906,847 |
| 4 | 랜드리드 | 122.93 | 487.88 | 966,441 |
| 총 무작위 읽기 | 498.31 | 491.58 | 3,722,901 | |
| 1 | 랜드라이트 | 27.08 | 2,307.57 | 237,512 |
| 2 | 랜드라이트 | 26.88 | 2,285.62 | 231,625 |
| 3 | 랜드라이트 | 26.10 | 2,406.89 | 228,983 |
| 4 | 랜드라이트 | 28.27 | 2,341.65 | 245,172 |
| 총 무작위 쓰기 | 108.34 | 2,335.43 | 943,292 | |
| 1 | 독서 | 123.19 | 507.34 | 926,909 |
| 2 | 독서 | 125.69 | 511.23 | 900,136 |
| 3 | 독서 | 123.90 | 502.04 | 945,949 |
| 4 | 독서 | 123.77 | 502.36 | 948,850 |
| 총 읽기 | 496.54 | 505.74 | 3,721,844 | |
| 1 | 쓰다 | 76.87 | 812.93 | 580,169 |
| 2 | 쓰다 | 80.17 | 839.88 | 551,311 |
| 3 | 쓰다 | 78.62 | 783.24 | 556,060 |
| 4 | 쓰다 | 73.40 | 811.62 | 597,226 |
| 총 쓰기 | 309.06 | 811.92 | 2,284,766 | |
4MB 파일 크기
| 노드 | 입출력 유형 | 처리량(GiB/초) | 평균 지연 시간(usecs) | 행정부 |
|---|---|---|---|---|
| 1 | 랜드리드 | 3.44 | 6,481.70 | 73,715 |
| 2 | 랜드리드 | 3.97 | 6802.17 | 75,689 |
| 3 | 랜드리드 | 3.83 | 6498.16 | 73,277 |
| 4 | 랜드리드 | 3.50 | 6,589.43 | 70,443 |
| 총 무작위 읽기 | 14.75 | 6,593 | 293,124 | |
| 1 | 랜드라이트 | 3.44 | 18,193.14 | 56,616 |
| 2 | 랜드라이트 | 3.4048 | 19090.38 | 54,725 |
| 3 | 랜드라이트 | 3.4349 | 18125.25 | 56,277 |
| 4 | 랜드라이트 | 3.5084 | 17018.30 | 54,397 |
| 총 무작위 쓰기 | 13.78 | 18,107 | 222,015 | |
| 1 | 독서 | 3.50 | 17,875.32 | 31,871 |
| 2 | 독서 | 3.4388 | 17110.93 | 31,119 |
| 3 | 독서 | 3.5133 | 18124.53 | 31,096 |
| 4 | 독서 | 3.3035 | 17755.53 | 31,257 |
| 총 읽기 | 13.75 | 17,717 | 125,343 | |
| 1 | 쓰다 | 2.77 | 22,551.26 | 31,716 |
| 2 | 쓰다 | 2.8845 | 23674.69 | 33,017 |
| 3 | 쓰다 | 2.7008 | 22661.31 | 30,971 |
| 4 | 쓰다 | 2.7719 | 22798.83 | 29,519 |
| 총 쓰기 | 11.13 | 22,922 | 125,223 | |
Quantum Myriad의 고유한 스토리지 아키텍처는 성능 손실 없이 GPU 작업과 동시 사용자 활동 모두에 이점을 주는 이중 접근성을 제공합니다. 이는 AI 및 기계 학습 서버의 사용자 커뮤니티와 최종 사용자 분석가 액세스와 유사하게 동시 데이터 액세스 및 처리가 필요한 수요가 많은 환경에서 특히 효과적입니다. 다른 사용자 작업과 함께 GPU에 대한 대규모 데이터 블록 접근성을 지원함으로써 Myriad는 효율적인 리소스 활용을 보장하고 병목 현상을 방지합니다. 이는 실시간 분석 및 AI 모델 교육과 같은 애플리케이션에서 높은 작동 속도와 데이터 정확성을 유지하는 데 중요합니다.
여기서 Quantum Myriad의 파티 트릭은 NFSv4의 한계까지 여러 데이터 스트림을 적절하게 처리할 수 있는 능력이며, 이는 GPU 부하가 심한 경우 쉽게 타격을 받을 수 있다는 점에 주목할 가치가 있습니다. 시스템의 정교한 데이터 관리 기능은 이러한 제한이 전체 Myriad 플랫폼 성능에 영향을 미치는 것을 방지하여 수요가 많은 GPU 작업으로 인해 동일한 네트워크의 다른 작업이 느려지지 않도록 보장합니다. 이 기능은 동시 작업의 성능을 저하시키지 않으면서 강력한 데이터 처리 기능이 필요한 산업에 특히 유용하며 모든 사용자에게 원활한 워크플로를 지원합니다.
실제 영향 및 확장
Quantum Myriad는 실제 애플리케이션과 확장 시나리오를 쉽게 사용할 수 있는 잠재력을 가지고 있습니다. 높은 처리량과 낮은 대기 시간으로 큰 블록 크기를 처리하는 기능은 대규모 데이터 세트가 일괄 처리되는 딥 러닝 모델 교육을 포함하여 AI 워크로드에 이점을 제공합니다. 높은 처리량은 데이터가 지연 없이 GPU에 공급되도록 보장하며, 이는 높은 활용도와 효율적인 학습을 유지하는 데 중요합니다.
또 다른 필수 특성은 확장성입니다. 테스트에서 Quantum Myriad 스토리지 클러스터의 성능은 더 큰 구성을 효율적으로 지원할 수 있음을 시사합니다. 연결된 장치(예: 추가 GPU 또는 기타 고성능 컴퓨팅 장치)의 수가 증가함에 따라 스토리지 시스템은 병목 현상 없이 높은 수준의 데이터 전달을 유지할 수 있는 것으로 보입니다.
대규모 블록 RANDREAD 작업 중 Quantum Myriad 스토리지 클러스터의 성능은 테스트 중에 특히 주목할 만했습니다. 이 기능은 최신 AI 및 기계 학습 프레임워크의 요구 사항을 고려할 때 매우 중요합니다.
상당한 처리량을 갖춘 RANDREAD 테스트는 대량의 데이터를 빠르고 효율적으로 검색하는 Myriad의 능력을 보여줍니다. 이는 데이터에 액세스할 수 있는 속도가 프로덕션 환경에서 AI 모델의 성능에 직접적인 영향을 미치는 추론 워크로드의 맥락에서 특히 중요합니다. 실시간 의사 결정을 위해 대규모 데이터 세트에 대한 신속한 액세스가 필요한 추론 작업은 Myriad 클러스터가 제공하는 고속 데이터 검색 기능의 이점을 크게 누릴 수 있습니다. 예를 들어 실시간 이미지 인식이나 자동화 시스템을 구동하는 복잡한 의사 결정 엔진과 같은 애플리케이션에서 최소한의 대기 시간으로 큰 데이터 블록을 가져오는 기능은 추론 엔진이 데이터 지연 없이 최대 효율성으로 작동할 수 있도록 보장합니다.
테스트 단계에서 Myriad는 훈련 워크로드 중 체크포인트 데이터 처리에 있어 견고성을 입증했습니다. 이는 쓰기 작업 중 클러스터 성능만큼 중요합니다. 최신 AI 모델, 특히 딥 러닝 네트워크를 훈련하려면 체크포인트가 중요한 반복 프로세스가 필요합니다. 특정 반복에서 모델 상태를 나타내는 이러한 체크포인트는 진행 상황이 손실되지 않고 처음부터 다시 학습하지 않고도 모델을 효과적으로 미세 조정할 수 있도록 주기적으로 저장해야 합니다. Myriad는 대규모 쓰기 작업을 스토리지 클러스터에 효율적으로 오프로드하여 I/O 시간을 줄이고 GPU가 데이터 처리 대신 계산에 집중할 수 있도록 합니다.
Myriad의 아키텍처는 데이터 세트 크기 증가 또는 더 복잡한 모델 교육 요구 사항으로 인해 데이터 요구 사항이 확장될 때 병목 현상, 가동 중지 시간 또는 사용자 연결 손실 없이 시스템을 적절하게 확장할 수 있도록 보장합니다. 이러한 확장성은 AI 및 기계 학습 워크로드가 빠르게 진화하는 시대에 필수적이며, 현재 요구 사항에 부응하고 향후 AI 연구 개발 발전에 대비할 수 있는 스토리지 솔루션이 필요합니다.
결론
Quantum Myriad 스토리지 클러스터는 다양하고 까다로운 I/O 작업을 관리하는 데 탁월한 성능을 보여줍니다. 기존 비즈니스 워크로드와 최첨단 AI 애플리케이션을 위한 다목적 솔루션입니다. 높은 처리량과 낮은 대기 시간 덕분에 Myriad의 기능은 원활한 운영과 효율적인 데이터 검색을 유지하는 데 중요한 기존 데이터 웨어하우징 작업을 뛰어넘습니다.
이러한 기존 용도 외에도 Myriad의 강력한 성능 특성 덕분에 AI 워크플로의 보다 집약적인 요구 사항에 이상적인 후보가 되었습니다. 여기에서 클러스터는 정교한 기계 학습 모델을 훈련하고 복잡한 신경망을 실행하는 데 필수적인 빠른 데이터 액세스와 고속 처리가 필요한 시나리오에서 탁월합니다. 대량의 공유 데이터를 빠르게 읽고 쓸 수 있는 능력은 GPU 활용도를 높이고 AI 계산이 지연 없이 수행될 수 있도록 보장합니다.
Myriad 클러스터에 대한 이 포괄적인 테스트는 기존 IT 및 비즈니스 요구 사항과 AI 연구 및 개발의 높은 수요가 결합된 환경에서 확장성과 성능을 이해하기 위한 중요한 벤치마크 역할을 합니다. 결과는 Myriad의 기술적 역량과 고부담 AI 애플리케이션 및 기계 학습 프로젝트를 촉진할 수 있는 잠재력을 강조하며 광범위한 컴퓨팅 작업 전반에 대한 적응성과 효율성을 강조합니다. 이러한 기능은 기업이 현재 요구 사항과 미래의 기술 환경을 탐색할 때 지원하는 기본 기술로서 Myriad의 역할을 확인시켜 줍니다.
본 보고서는 Quantum의 후원을 받아 작성되었습니다. 이 보고서에 표현된 모든 견해와 의견은 고려 중인 제품에 대한 당사의 편견 없는 관점을 기반으로 합니다.
StorageReview에 참여
뉴스레터 | 유튜브 | 팟캐스트 iTunes/스포티 파이 | 인스타그램 | 트위터 | 틱톡 서비스 | RSS 피드
