Qumulo 파일 시스템은 데이터 센터, 프라이빗 및 퍼블릭 클라우드에 걸쳐 있는 Qumulo의 고유한 소프트웨어 정의 분산 파일 시스템입니다. 이 소프트웨어는 하이브리드 클라우드용으로 구축되어 사전 구성되고 사전 검증된 산업 표준 하드웨어 플랫폼에서 실행될 수 있을 뿐만 아니라 기본적으로 여러 퍼블릭 클라우드에서 실행될 수 있습니다. 우리 연구실에서 우리는 Qumulo의 소프트웨어와 가장 중요한 일부 기능에 대해 공부할 기회를 가졌습니다. 이 특정 리뷰에서는 Qumulo의 파일 시스템과 그래픽 사용자 인터페이스(GUI)를 살펴봅니다.
Qumulo 파일 시스템은 데이터 센터, 프라이빗 및 퍼블릭 클라우드에 걸쳐 있는 Qumulo의 고유한 소프트웨어 정의 분산 파일 시스템입니다. 이 소프트웨어는 하이브리드 클라우드용으로 구축되어 사전 구성되고 사전 검증된 산업 표준 하드웨어 플랫폼에서 실행될 수 있을 뿐만 아니라 기본적으로 여러 퍼블릭 클라우드에서 실행될 수 있습니다. 우리 연구실에서 우리는 Qumulo의 소프트웨어와 가장 중요한 일부 기능에 대해 공부할 기회를 가졌습니다. 이 특정 리뷰에서는 Qumulo의 파일 시스템과 그래픽 사용자 인터페이스(GUI)를 살펴봅니다.
혁신을 위해 조직은 최신 스토리지, 데이터 인프라, 레거시 및 클라우드 기반 애플리케이션과 서비스, 클라우드 스토리지, 비정형 데이터 관리 및 플랫폼에 의존합니다. 그러나 구조화되지 않은 데이터는 클라우드로 마이그레이션하거나 하이브리드 클라우드 모델을 활용하려는 기업에게 골칫거리가 되고 있습니다. 이러한 종류의 데이터는 새로운 데이터 사일로를 생성하기 때문입니다. 대부분의 클라우드 플랫폼에서 사용할 수 있습니다. IT 부서는 두 가지 다른 파일 시스템(프레미스에 있는 파일 시스템과 클라우드에 있는 파일 시스템)에서 워크로드를 관리하는 데 압도당하는 경우가 더 자주 발생하는 이러한 결과에 직면합니다.
그럼에도 불구하고 진짜 문제는 클라우드 플랫폼이나 비정형 데이터 플랫폼이 아니다. 우리는 여전히 클라우드로의 전환에 적합하지 않은 레거시 파일 스토리지를 사용하고 있습니다. Qumulo가 강조한 것처럼 IT는 변했지만 파일 스토리지는 변하지 않았습니다. 마지막으로 성공한 파일 스토리지 아키텍처는 클라우드가 붐을 일으키기 15년 이상 전에 만들어졌습니다. 반대로 최신 파일 스토리지는 클라우드 지원이어야 합니다. 즉, 모든 비정형 데이터 유형을 통합하고, 수십억 개의 파일로 확장하고, 여러 데이터 센터와 클라우드 자체에 걸쳐 있어야 합니다. 또한 실시간 분석 및 API 기반 제어를 통해 가시성과 자동화를 제공합니다.
Qumulo: 클라우드 지원 파일 시스템
다른 유형의 스토리지 회사로 자신을 식별하는 Qumulo는 하이브리드 클라우드 워크로드를 처리하고 클라우드 네이티브 파일 데이터 서비스를 제공하는 최초의 파일 시스템을 보유하고 있다고 주장합니다. 이 소프트웨어를 통해 회사는 구조화되지 않은 데이터 플랫폼을 목표로 하고 빌더와 개발자를 위한 애플리케이션과 마이크로서비스를 강화합니다. Qumulo 파일 시스템 소프트웨어는 퍼블릭, 프라이빗 및 하이브리드 클라우드에서 사용할 수 있습니다.
Qumulo의 소프트웨어 계층에는 다음이 포함됩니다.
- 플랫폼. 현재 하드웨어 플랫폼에는 HPE 및 Fujitsu와 퍼블릭 클라우드 AWS 및 GCP가 포함됩니다. 또한 Qumulo는 최근 객체 데이터를 활용하는 클라우드 네이티브 애플리케이션 및 서비스를 활용하기 위해 파일에서 객체로 데이터를 이동하는 기능을 발표했습니다.
- 운영 체제. 표준 우분투 리눅스 기반.
- 확장 가능한 블록 저장소(SBS). Qumulo의 기초. 확장성, 이식성, 보호 및 성능을 지원합니다.
- 파일 시스템. 확장 가능한 파일 수와 고성능 파일 작업이 가능합니다. 또한 성능 및 용량에 대한 실시간 통찰력을 제공합니다.
- 데이터 서비스. 엔터프라이즈급 도구를 사용하여 Qumulo 플랫폼에서 데이터를 보호, 보호 및 관리합니다. 이 계층은 스냅샷, 복제, 할당량, 감사 및 RBAC(역할 기반 액세스 제어)의 XNUMX가지 기능으로 구성됩니다.
- 관리 및 프로그래밍 가능성. Qumulo 플랫폼과 통합 솔루션을 구축하고 관리자가 데이터 서비스를 자동화하고 관리할 수 있습니다.
- 데이터 액세스 및 인증. 엔터프라이즈급 보안을 보장하면서 표준 애플리케이션 및 운영 체제를 사용하여 데이터에 액세스할 수 있습니다. 이 계층은 NFS, SMB 및 FTP를 포함한 엔터프라이즈 액세스 프로토콜을 지원합니다.
여기서 우리의 초점은 데이터를 논리적 구조로 구성하고 방대한 파일 수로 워크로드를 지원한다는 개념을 기반으로 하는 파일 시스템입니다. 파일 시스템은 단일 네임스페이스를 제공하는 분산 아키텍처를 사용합니다. 사용된 플랫폼은 독립적인 노드의 공유되지 않는 클러스터이며 각 노드는 용량과 성능을 제공합니다. 또한 개별 노드는 서로 일관되게 조정되므로 모든 클라이언트가 모든 노드에 연결하고 네임스페이스에서 읽고 쓸 수 있습니다. 이 구조는 매우 흥미롭습니다. 작성자가 데이터 수명 주기를 통해 이동할 때 데이터 세트에 대해 공동 작업을 수행하는 것이 목적입니다. 또한 시스템이 페타바이트 및 수십억 개의 파일로 확장되는 경우에도 성능 및 용량 활용에 대한 실시간 통찰력을 제공합니다.
Qumulo 파일 시스템은 데이터를 디렉터리로 구성하고 프로토콜을 통해 데이터를 공유할 수 있는 기능을 통해 SMB 및 NFS 클라이언트에 데이터를 제공하여 여러 사용자 및 애플리케이션 유형이 동일한 데이터에 액세스할 수 있도록 합니다. 파일 시스템에는 B-트리 사용 및 실시간 데이터 분석 엔진 내장이라는 고유한 속성이 있습니다.
B-트리 구조를 사용하여 Qumulo는 다른 시스템에서 흔히 발생하는 문제 없이 수십억 개의 파일로 확장할 수 있습니다. B-트리는 데이터 수가 증가함에 따라 각 작업에 필요한 I/O 양을 최소화하는 "얕은" 데이터 구조이기 때문에 많은 수의 데이터 블록을 읽고 쓰는 시스템에 특히 적합합니다. 이러한 구조는 파일 시스템 및 광범위한 데이터베이스 인덱스에 이상적입니다.
Qumulo 파일 시스템의 또 다른 중요한 부분은 실시간 분석 엔진을 통한 데이터 인식 기능입니다. 데이터 인식은 스토리지 시스템에 대한 다차원 가시성을 의미하며 시스템 콘텐츠, 활동, 사용자 등에 대한 강력한 통찰력을 제공합니다. Qumulo의 실시간 분석을 통해 스토리지 관리자는 처리량 및 대기 시간을 포함하여 스토리지 사용량 및 성능을 신속하게 모니터링할 수 있습니다. 이러한 가시성을 통해 조직은 현재 요구 사항을 사전 예방적으로 관리하고 향후 스토리지 요구 사항을 더 잘 예측함으로써 구조화되지 않은 데이터를 제어하고 전체 운영 및 자본 비용을 줄일 수 있습니다. 아래 섹션에서 검토한 바와 같이 Qumulo 웹 UI는 이러한 가시성을 다음 시스템 관리 수준으로 가져옵니다.
소프트웨어 아키텍처와 특정 파일 시스템을 통해 Qumulo는 조직이 이전에 온프레미스 데이터 센터만으로는 불가능했던 비즈니스 목표를 달성할 수 있도록 합니다. Qumulo의 장점 중 하나는 파일 시스템을 온프레미스에서 실행한 다음 정확히 동일한 소프트웨어를 클라우드에서 실행한다는 것입니다. 이 회사는 스케일 아웃 파일 스토리지 제공업체로 잘 알려져 있습니다. 이제 Qumulo의 소프트웨어와 결합된 클라우드의 탄력성과 클라우드 컴퓨팅 및 클라우드 스토리지 인프라의 규모를 사용하여 데이터를 앞뒤로 이동하고 데이터 센터를 쉽게 확장 또는 확장할 수 있습니다. 예를 들어 회사는 온프레미스 앱을 있는 그대로 가져와 클라우드로 옮길 수 있으며 제대로 작동합니다. 그리고 사용자가 기계 학습이나 AI와 같은 클라우드 서비스로 활용하려는 파일 데이터가 있는 경우 Qumulo의 Shift 기능은 클라우드 네이티브 애플리케이션 혁신에 액세스할 수 있도록 데이터를 클라우드 개체 저장소에 복사합니다.
조직이 이러한 워크로드를 클라우드로 이동함에 따라 데이터가 어떻게 수행되고 있는지 이해하기를 원합니다. Qumulo의 분석이 하드웨어 플랫폼에 제공하는 것과 동일한 경험을 클라우드에서 찾을 수 있으며 완전한 하이브리드 클라우드 경험을 제공합니다. 회사에서 소프트웨어를 물리적 어플라이언스 또는 클라우드에서 실행하는 경우 소프트웨어는 동일한 GUI 및 기능을 포함하여 동일합니다.
기능에 대한 자세한 내용은 Qumulo 웹 사이트의 기술 문서를 참조하십시오.
Qumulo 성능
성능 구성
5노드 클러스터의 Qumulo 노드 구성에는 각각 25개의 480GB SATA SSD와 6개의 740TB SATA HDD가 있는 LACP의 이중 25GbE 포트가 포함되었습니다. 스토리지 테스트를 위해 각각 NFS 공유에 연결하는 vSwitch에 할당된 단일 16G 포트가 있는 125개의 Dell EMC PowerEdge R4xd 서버에 단일 NFS 네임스페이스를 프로비저닝했습니다. 그런 다음 VMware에서 XNUMX개의 CentOS LoadGen을 사용했으며, 각각 할당된 XNUMXGB vDisk XNUMX개가 할당되어 클러스터에 총 XNUMXTB의 공간을 확보했습니다.
스토리지 어레이를 벤치마킹할 때는 애플리케이션 테스트가 가장 좋고 합성 테스트가 두 번째입니다. 실제 워크로드를 완벽하게 나타내지는 못하지만 합성 테스트는 경쟁 솔루션 간의 비교를 쉽게 수행할 수 있는 반복성 요소로 스토리지 장치의 기준선을 만드는 데 도움이 됩니다. 이러한 워크로드는 "포 코너" 테스트, 공통 데이터베이스 전송 크기 테스트, 다양한 VDI 환경의 트레이스 캡처에 이르는 다양한 테스트 프로필을 제공합니다. 이러한 모든 테스트는 스크립팅 엔진과 함께 공통 vdBench 워크로드 생성기를 활용하여 대규모 컴퓨팅 테스트 클러스터에서 결과를 자동화하고 캡처합니다. 이를 통해 플래시 어레이 및 개별 스토리지 장치를 포함한 광범위한 스토리지 장치에서 동일한 워크로드를 반복할 수 있습니다.
대형 블록 전송에 최적화된 Qumulo 스토리지 어레이를 사용하여 테스트는 64K, 1024K 및 2048K 순차 전송에 중점을 두었습니다.
프로필 :
- 64K 순차 읽기: 100% 읽기, 32 스레드, 0-120% iorate
- 64K 순차 쓰기: 100% 쓰기, 32개 스레드, 0-120% 속도
- 1024K 순차 읽기: 100% 읽기, 32 스레드, 0-120% iorate
- 1024K 순차 쓰기: 100% 쓰기, 32개 스레드, 0-120% 속도
- 2048K 순차 읽기: 100% 읽기, 32 스레드, 0-120% iorate
- 2048K 순차 쓰기: 100% 쓰기, 32개 스레드, 0-120% 속도
첫 번째는 대기 시간 64ms에서 74,619K 순차 벤치마크 4.66 IOPS 또는 11.3GB/s입니다.
64K 쓰기는 9ms의 대기 시간에서 약 555K IOPS 또는 110MB/s의 최고 성능을 보였습니다.
다음으로 1024K 테스트로 이동합니다. 읽기의 경우 7,128ms의 대기 시간에서 7.13 IOPS 또는 108GB/s의 최고 성능을 확인했습니다.
1024K 쓰기는 1,670ms의 대기 시간에서 약 1.6 IOPS 또는 557GB/s의 피크를 보였고 일부는 떨어졌습니다.
최종 순차 벤치마크는 2048K입니다. 읽기 성능에서 우리는 3,858ms의 대기 시간에서 최고 7.7 IOPS 또는 184GB/s를 확인했습니다.
마지막으로 2048K 쓰기에서 1,055ms의 대기 시간에서 최고 2.1 IOPS 또는 433GB/s를 확인했습니다.
Qumulo 웹 UI 개요
다음 섹션에서는 Qumulo의 웹 사용자 인터페이스와 몇 가지 주요 구성에 대해 간략히 설명합니다. 이 회사는 관리자가 데이터 센터 및 클라우드 환경을 배포, 관리 및 모니터링할 수 있도록 이 웹 기반 UI를 제공합니다.
클러스터에 관리자로 로그인하면 대시보드 페이지로 바로 이동합니다. 이 시점에서 우리는 Qumulo가 제안한 독특하고 현대적인 웹 UI를 즉시 실현합니다. 이 웹 UI는 탭으로 잘 구성된 직관적인 메뉴로 구성되어 있습니다. 인프라를 배포, 관리 및 모니터링하는 데 필요한 모든 범주를 빠르게 포함하는 화면 왼쪽 상단에 표시됩니다. 기본 메뉴는 대시보드, 분석, 공유, 클러스터, API 및 도구, 지원 탭으로 구성됩니다. 이러한 탭을 가리키면 UI에서 제공하는 모든 다른 페이지에 액세스할 수 있는 드롭다운 목록이 UI에 표시됩니다. 오른쪽 상단 모서리에서 사용자는 현재 소프트웨어 버전, 시간(웹 브라우저의 클라이언트 현지 시간 기준) 및 현재 로그인한 사용자를 볼 수 있습니다.
여전히 대시보드 페이지에는 인프라 모니터링을 용이하게 하고 클러스터 개요, 용량 추세, 클라이언트 활동 및 실시간 클러스터 활동과 같은 다양한 중요 영역을 관찰할 수 있는 매력적인 UI 레이아웃이 있습니다.
대시보드 영역에서 UI에 대해 특히 마음에 들었던 한 가지 개념은 모든 요소와의 동적 상호 작용입니다. 예를 들어 클러스터 활동에서 24시간 이내에 모니터링하려는 원하는 정보 활동을 쉽게 끌어서 이동, 확장 또는 좁힐 수 있습니다. 여기에는 1분, 5분, 1시간 및 기본값인 3시간의 기간이 있는 몇 가지 사전 설정도 있습니다. 메트릭(IOPS 및 처리량)은 피크 데이터에 따라 조정됩니다.
대시보드 페이지에서 아래로 스크롤하면 클라이언트 활동 영역이 있습니다.
이제 Qumulo가 돋보이는 영역인 분석으로 바로 이동합니다. 앞서 언급한 바와 같이 Qumulo를 통해 관리자는 데이터와 사용자를 실시간으로 관리할 수 있습니다. 분석 > 통합 분석에서 시스템 리소스를 가장 많이 사용하는 클라이언트와 활발하게 읽고 쓰는 디렉터리 및 파일이 왼쪽에 있는 정보 창에 표시됩니다. 이 정보는 특정 디렉토리 또는 하위 디렉토리를 클릭하면 표시됩니다.
여전히 Analytics 탭 아래에 있는 Capacity Explorer 페이지로 이동하면 용량이 시스템에 어떻게 분산되어 있는지 확인할 수 있습니다. 먼저 가장 큰 것부터 가장 작은 것까지 나열된 디렉토리 용량에 대한 일반적인 개요가 있습니다.
디렉토리를 클릭하면 더 자세한 관점에서 각 디렉토리를 파헤치고 탐색할 수 있습니다. 예를 들어 아래 이미지는 "vmw"라는 디렉토리에 포함된 하위 디렉토리를 보여줍니다.
하위 디렉토리를 계속 클릭하면 결국 파일 수준의 세부 정보에 도달할 수 있습니다. 이번에는 "netapp-centos01"이라는 하위 디렉토리를 클릭했습니다.
분석 아래의 다음 페이지는 용량 추세입니다. 여기에서 클러스터의 초과 용량 사용량을 모니터링하고 관리하는 데 필요한 모든 세부 정보를 얻을 수 있습니다. 여기서 두 가지 주요 영역은 용량 기록 및 용량 변경입니다. 이러한 용량에는 메타데이터, 데이터 및 스냅샷이 포함됩니다(용량 변경에서만 제외됨). 용량의 기록 및 변경 사항은 지난 72시간, 지난 30일 또는 지난 52주 동안의 시간 프레임으로 빠르게 필터링할 수 있습니다. 이는 스토리지 관리자가 확장을 위해 클러스터를 시각화 및 관리하고 중요한 용량 변경 이벤트를 탐색하는 데 도움이 되는 훌륭한 옵션입니다.
분석 탭에서 탐색한 다음 섹션은 처리량 핫스팟, IOPS 핫스팟, 클라이언트 및 경로를 찾을 수 있는 활동입니다. IOPS 핫스팟 페이지에서는 스토리지 시스템의 초당 입/출력 핫스팟을 식별할 수 있습니다. 그래프는 파일 및 메타데이터에 대한 읽기/쓰기 작업 측면에서 가장 활동적인 디렉터리를 보여줍니다. 이러한 데이터의 세부 수준은 그래프 오른쪽 상단의 슬라이더를 사용하여 조정할 수 있습니다. Auto-refresh 라디오 버튼에서 디스플레이를 일시 중지하는 훌륭한 옵션도 사용할 수 있습니다.
또한 고객의 활동을 모니터링할 수도 있습니다. 분석을 통해 처리량 및 IOPS 측면에서 가장 활동적인 클라이언트를 확인할 수 있습니다.
또한 경로별로 활동을 모니터링합니다.
기본 메뉴의 다음 탭은 공유이며 여기에서 분석하는 첫 번째 페이지는 할당량입니다. Qumulo는 실시간 용량 할당량을 활성화하여 관리자가 지정된 디렉토리가 파일에 사용할 수 있는 용량을 지정할 수 있도록 합니다. 이 페이지에서 할당량을 생성, 편집 또는 삭제할 수 있습니다.
다음 두 페이지는 클라이언트가 특정 디렉터리에 저장된 데이터를 공유할 수 있도록 하는 NFS 내보내기 및 SMB 공유입니다. 예를 들어 NFS 내보내기에서 새 내보내기를 생성하고 편집 및 삭제할 수 있습니다.
메인 메뉴의 다음은 클러스터입니다. 클러스터 메뉴에서 일반적으로 클러스터 및 시스템과 관련된 다양한 구성 및 옵션을 찾을 수 있습니다. 첫 번째 페이지인 개요에는 클러스터와 해당 노드에 대한 중요한 용량 정보가 있습니다.
노드 중 하나를 클릭하면 보다 구체적인 하드웨어 세부 정보를 드릴다운할 수 있습니다. 예를 들어 "sr-qumulo-1" 노드를 클릭하여 관련 네트워크 정보를 검색하고 상태를 구동합니다.
클러스터 메뉴에는 스냅샷 및 복제와 같은 중요한 스토리지 기능도 있습니다. 그리고 네트워크 구성, 클러스터 이름 변경, 클러스터에 새 호스트 추가 등의 추가 옵션이 있습니다. 또한 FTP 및 SMB 프로토콜 설정. 마지막으로 이 메뉴에서 인증 및 승인을 관리할 수 있습니다. 아래 이미지는 로컬 사용자 및 그룹 페이지를 예로 보여줍니다.
API 및 도구 탭에서 UI에서 직접 Qumulo Core 페이지에 액세스할 수 있습니다. 여기에서 Qumulo Core REST API용 Python 클라이언트 라이브러리 래퍼 및 CLI를 다운로드할 수 있습니다.
메뉴의 마지막 탭은 지원이며 여기에서 찾은 첫 번째 페이지는 Qumulo로 데이터를 보낼 수 있는 클라우드 기반 모니터링 서비스인 Qumulo Care입니다. 이러한 방식으로 Qumulo 팀은 문제를 더 잘 해결하고 클러스터 관련 문제의 속도를 높일 수 있습니다.
마지막으로 메뉴에 소프트웨어 업그레이드 페이지가 있습니다.
결론
혁신을 위해 조직은 비정형 데이터 플랫폼과 데이터 인식 스토리지에 의존하지만 사용 가능한 솔루션으로는 제대로 제공되지 않습니다. 이 리뷰에서는 모든 환경에서 비정형 데이터를 제공하도록 개발된 Qumulo 파일 시스템을 연구했습니다. Qumulo는 하이브리드 클라우드를 위한 고유한 소프트웨어 정의 솔루션을 통해 데이터 인식 스토리지 및 클라우드 파일 데이터 서비스의 선구자 중 하나입니다.
이 기사의 마지막 섹션에서는 Qumulo의 Web-UI를 살펴보았습니다. 과거에는 가장 인기 있는 일부 서버 및 스토리지 어플라이언스의 그래픽 사용자 인터페이스(GUI)를 살펴봤으며 이번에는 Qumulo의 새로운 GUI를 살펴보게 되어 매우 기뻤습니다. 언뜻 보면 이 GUI의 우아한 디자인, 뛰어난 사용자 경험, 관리자의 일상적인 관리 작업이 얼마나 간단한지 알 수 있습니다.
전반적으로 Qumulo의 소프트웨어는 고객에게 탁월한 기능 세트, 모니터링 및 계획 도구를 제공합니다. 이 소프트웨어는 클라우드로의 여정을 단순화합니다. 리프트 앤 시프트(lift-and-shift) 클라우드 마이그레이션으로 데이터 이동을 지원하는 동시에 강력한 실시간 분석을 제공하여 귀중한 데이터에서 발생하는 상황을 감지하고 즉시 통찰력을 얻습니다.
StorageReview에 참여
뉴스레터 | 유튜브 | 팟캐스트 iTunes/스포티 파이 | 인스타그램 | 트위터 | 페이스북 | RSS 피드
