Cloudian의 HyperStore는 다른 여러 클라우드 스토리지 API와 통합하여 Amazon S3 API에 대한 기본 지원을 기반으로 구축된 소프트웨어 정의 스토리지 플랫폼입니다. Cloudian은 스토리지 어플라이언스 형태의 HyperStore와 범용 하드웨어용 HyperStore 운영 환경 소프트웨어 솔루션을 제공합니다. HyperStore의 긴밀한 클라우드 통합은 플랫폼의 계층화, 백업, 복제, 콜드 스토리지 및 기타 기능을 강조합니다. 이를 통해 Cloudian은 로컬, 원격 및 클라우드 스토리지의 조합을 활용할 수 있는 다양한 배포 옵션을 지원할 수 있습니다.
Cloudian의 HyperStore는 다른 여러 클라우드 스토리지 API와 통합하여 Amazon S3 API에 대한 기본 지원을 기반으로 구축된 소프트웨어 정의 스토리지 플랫폼입니다. Cloudian은 스토리지 어플라이언스 형태의 HyperStore와 범용 하드웨어용 HyperStore 운영 환경 소프트웨어 솔루션을 제공합니다. HyperStore의 긴밀한 클라우드 통합은 플랫폼의 계층화, 백업, 복제, 콜드 스토리지 및 기타 기능을 강조합니다. 이를 통해 Cloudian은 로컬, 원격 및 클라우드 스토리지의 조합을 활용할 수 있는 다양한 배포 옵션을 지원할 수 있습니다.
HyperStore 확장 아키텍처는 모든 데이터, 메타데이터, 구성 및 작업을 클러스터 전체에 배포하고 여러 데이터 센터에 대한 배포를 지원합니다. HyperStore는 객체 스트리밍 및 동적 자동 계층화 기능을 활용하여 온프레미스 클라우드와 원격 클라우드 스토리지 서비스 간에 최대 수천 대의 서버와 여러 데이터 센터에 있는 수백 페타바이트의 데이터로 데이터를 이동합니다.
HyperStore는 "고급" Amazon S51 호환성 표준을 충족하는 데 필요한 3가지 작업을 구현합니다. 이를 통해 개발자와 관리자는 Amazon S3 SDK와 기본적으로 작동하는 스토리지를 배포할 수 있습니다. HyperStore는 또한 리셀러와 서비스 제공업체가 플랫폼을 관리 서비스 제공업체 환경에 배치하는 데 필요한 다중 테넌트 배포 및 필수 QoS, 청구 및 보고 기능을 지원하여 처음부터 개발되었습니다. 사용자는 HyperStore 소프트웨어 및 어플라이언스에서도 직접 Hadoop 분석을 실행할 수 있습니다.
HyperStore 배포의 사용 사례 중 하나는 CloudBerry의 백업 기능을 활용하는 것입니다. CloudBerry Managed Backup은 Amazon S2, Amazon Glacier, Google Nearline, Windows Azure, OpenStack 및 기타 클라우드 스토리지 공급자와의 HyperStore 스토리지 통합을 통해 Amazon EC3 서버에서 실행할 수 있습니다. CloudBerry의 관리 백업 솔루션과 함께 HyperStore를 사용하는 서비스 공급자는 HyperStore 인스턴스에 저장된 데이터에 대해 사용자 또는 고객에게 웹 액세스를 제공할 수도 있습니다.
Cloudian은 최근 Hyperstore Connect for Files를 출시했습니다. 이 새로운 기능은 SMB, NFS 및 FTP에 대한 기본 지원을 가능하게 합니다. 이 지원은 이제 파일 기반 스토리지가 Cloudian HyperStore와 플러그 앤 플레이가 가능함을 의미합니다. Hyperstore Connect for Files는 단일 글로벌 HyperStore 개체 스토리지 배포 위에서 실행되어 비용과 관리 복잡성을 줄이고 두 가지 모듈이 있습니다. Global View Manager는 여러 위치에서 분산된 협업을 위해 전역 네임스페이스와 전역 파일 잠금을 제공합니다.
HyperStore 플랫폼에 대한 이 개요를 준비하기 위해 우리 연구실의 소규모 DIY 구성 외에도 소프트웨어 어플라이언스 형태의 HyperStore와 함께 작업했습니다. 소프트웨어 어플라이언스는 최소 3000개의 RedHat 또는 CentOS 서버 노드에 배포되면 HyperStore 인스턴스를 설정하는 데 사용할 수 있습니다. 현재 Cloudian 하드웨어 제품에는 3U에 4개의 스토리지 노드가 있는 HyperStore FL480 랙 어플라이언스가 포함됩니다. 각 12U 확장 장치는 최대 576TB까지 배포할 수 있습니다. 324,000년 지원이 포함된 XNUMXU, XNUMXTB HyperStore 어플라이언스 배포의 Cloudian 정가는 $XNUMX입니다.
Cloudian HyperStore 하드웨어 사양 및 옵션
- HyperStore FL3000 µNode 섀시
- 기능: 데이터 제공
- 폼 팩터: 3U
- 드라이브: 16xSSD(µNode당 2개)
- 모듈: 8xµNode
- 연결성: 16x10G SFP+, 8x1Gbe IPMI
- 치수(LxWxH): 589mm x 438.4mm x 132.5mm 23.2” x 17.26” x 45.21”
- 무게: 88kg(39.92파운드)
- 드라이브 크기: 480GB SSD MLC
- 전원 공급 장치: (2) 1620W 출력 @ 180-240V 10.5-8A, 50-60Hz
- 냉각: 4x 8cm 11K RPM, 4핀 PWM 냉각 팬
- RohS: 준수
- 디스크 영역: 노드당 1개 영역
- HyperStore 확장 선반
- 기능: 데이터 저장
- 폼 팩터: 4U
- 드라이브: 60xHDD
- 모듈: (2) 핫스왑 가능 SAS 인터페이스 모듈(SIM) 및 (4) 핫스왑 가능 내부 SAS 인터페이스 모듈(ISIM)
- 연결성: 2×4포트 6Gb/s 미니 SAS 포트
- 치수(LxWxH): 1103.1mm x 447mm x 175.3mm 43.43” x 17.60” x 6.90”
- 무게: 187.39파운드(85kg)(HDD 포함)
- 드라이브 크기: 2, 4, 6, 8TB SATA 7200rpm
- 전원 공급 장치: (2) 1400W 고효율 중복 PSU 200-240VAC, 50/60Hz
- 냉각: 시스템당 (7+1) 로터 리던던트 팬 모듈
- RohS: 준수
- 디스크 영역: 셸프당 2개 또는 4개 영역
- HyperStore FL3020 µNode
- 노드당 데이터 디스크: 15
- 지원되는 드라이브 유형: 2, 4, 5, 6TB
- 최대 용량/노드: 30TB, 60TB, 75TB, 90TB
- CPU 유형: Intel E5-2640 V2.2GHz, 8코어
- 메모리 : 64GB
- 연결성: 2x10Gbe SFP+포트, 1x1Gbe IPMI LAN 포트
- Hyperstore OS 디스크: 2x480GB SSD
- 디스크 연결: 2x6bps SAS 포트
- KVM: 1xVGA, 1xCOM 및 2xUSB 2.0(KVM 동글 포함) 포트
- 스위치: 전원
- HyperStore FL3050 µNode
- 노드당 데이터 디스크: 30
- 지원되는 드라이브 유형: 2, 4, 5, 6TB
- 최대 용량/노드: 60TB, 120TB, 150TB, 180TB
- CPU 유형: Intel E5-2640 V2.2GHz, 8코어
- 메모리 : 128GB
- 연결성: 2x10Gbe SFP+ 포트, 1x1Gbe IPMI Lan 포트
- Hyperstore OS 디스크: 2x480GB SSD
- 디스크 연결: 2x6bps SAS 포트
- KVM: 1xVGA, 1xCOM 및 2xUSB 2.0(KVM 동글 포함) 포트
- 스위치: 전원
운영 체제 및 환경
HyperStore는 시스템 및 클러스터 모니터링과 데이터 관리를 위해 웹 기반 관리를 사용하고 사용자, 그룹, 등급 계획, 서비스 품질 제어 및 청구를 위한 관리 인터페이스를 제공합니다. REST-ful API 옵션은 다른 프로비저닝, 인증 및 청구 시스템과의 통합에 사용할 수 있습니다.
HyperStore의 액세스 관리 시스템은 서비스 공급자를 위한 청구 및 환불 정책 관리를 포함하여 사용자 및 관리자를 위한 ID 및 보안 워크플로우를 제공합니다. 다중 테넌트 클라우드의 스토리지 및 대역폭에 대해 구성 가능한 그룹 및 사용자 기반 QoS 할당량과 함께 사용자당 여러 자격 증명이 지원됩니다.
HyperStore 배포는 최대 20개의 분산 파일 시스템인 Cassandra 파일 시스템(CASSANRDA), HyperStore 파일 시스템(HFS) 및 Erasure Code(EC)를 활용합니다. CASSANDRA는 메타데이터 인덱스에 사용되며 작은 파일의 저장을 최적화하는 데에도 사용됩니다. HyperStore 파일 시스템은 데이터 스토리지 계층입니다. 복제 또는 삭제 코딩(EC)을 사용하여 개체를 저장할 수 있습니다. 다양한 스토리지 풀(버킷이라고 함)에 대해 어떤 스토리지 방법을 선택할 수 있습니다. EC를 사용하면 최소한의 공간 오버헤드(일부 배포에서 3%까지 낮은 오버헤드)로 높은 데이터 내구성과 가용성을 제공합니다. 단점은 개체에 액세스하는 데 더 높은 대기 시간이 걸리고 더 많은 처리가 필요하다는 것입니다. 대규모 백업 및 아카이브 워크로드의 경우 삭제 코딩이 일반적으로 사용됩니다. 복제는 사람들이 더 빠른 액세스가 필요할 때와 지역 간 복제에도 사용됩니다. 일정 기반 자동 전환(Cloudian의 자동 계층화 용어)은 HyperStore 스토리지에서 Amazon SXNUMX 스토리지, Amazon Glacier 스토리지, 원격 HyperStore 배포 또는 타사 HyperStore 서비스로 사용할 수 있습니다.
HyperStore AES-256 서버 측 암호화는 HTTPS를 통해 전송 중인 데이터에 대해 SSL 암호화를 통해 미사용 데이터를 보호합니다. HyperStore 파일 시스템은 또한 snappy, lz4 및 zlib의 세 가지 선택적 압축 체계를 통합합니다. Snappy는 250MB/sec 이상의 정격 압축 처리량과 500MB/sec 이상의 압축 해제 속도로 압축보다 속도를 강조합니다. lz4는 코어당 400MB/s의 정격 압축 속도로 zlib보다 압축률이 낮습니다. zlib는 높은 압축 해제 속도로 중간 압축률과 속도를 제공합니다.
HyperStore의 내장 기능 외에도 HyperStore 사용자는 Cloudian의 CloudBerry Labs에서 제공하는 여러 애플리케이션을 활용할 수 있습니다. 이러한 제품 중 가장 주목할만한 제품은 CloudBerry Backup 제품군의 구성원이지만 Cloudian은 간소화된 클라우드 기반 파일 관리, 클라우드 스토리지를 네트워크 드라이브로 탑재, CloudBerry Box, 양방향 Dropbox와 같은 데이터 동기화 도구인 애플리케이션도 제공합니다. 클라우드 저장소 계정을 통해 원격 컴퓨터에서.
CloudBerry Backup에는 예약 및 실시간 백업, 암호화 및 압축, 대역폭 제한, 블록 수준 백업은 물론 MS SQL 서버, MS Exchange, VMware 및 Hyper-V 백업이 포함됩니다. 관리 서비스 공급자용 버전은 관리 백업 제어판에서 사용자 백업 기록을 모니터링하고 제한된 권한으로 하위 관리자 계정을 만들 수 있습니다.
관리자로 로그인하면 GUI의 기본 화면 상단에 영역이 표시됩니다. 영역 아래에는 사용된 양인 파란색 관리 용량과 사용 가능한 양인 녹색이 있습니다. 관리되는 용량 바로 아래에는 클러스터 상태가 있습니다(현재 활성화된 경보가 있음을 알 수 있음). 오른쪽에는 초당 트랜잭션과 KB/s 단위로 측정된 처리량이 있습니다(두 차트에서 PUT은 파란색이고 GET은 녹색임). 화면 하단에는 소프트웨어 버전과 함께 관리되는 사용자, 그룹, 개체, 노드 및 데이터 센터의 수가 있습니다.
화면 상단에는 기본 화면, 분석, 버킷 및 개체, 사용자 및 그룹, 클러스터, 경고, 설정 및 도움말과 같은 탭이 있습니다. 사용자 및 그룹을 설정하려면 관리자가 사용자 및 그룹 탭을 클릭해야 합니다. 이 탭을 통해 새 그룹과 각 그룹에 대한 특정 QoS를 추가할 수 있습니다.
관리자는 이 탭에서 평가 계획을 생성할 수도 있습니다. 평가 계획은 청구 보고서 목적으로 생성됩니다. 관리자는 설정된 그룹 또는 사용자의 계정 활동을 확인할 수도 있습니다.
분석 탭을 통해 관리자는 GB 단위의 시간 경과에 따른 지역 용량 소비, 초당 개체 트랜잭션 및 KB/초 단위의 처리량과 같은 항목을 통해 클러스터 사용량을 확인할 수 있습니다. 용량 탐색기는 그래픽 표현을 통해 용량 사용량을 보여줍니다. 청구상의 이유로 관리자는 사용자별 사용량을 확인할 수 있습니다. 그리고 특정 개체를 검색할 수 있습니다.
버킷 및 개체 탭을 통해 관리자는 버킷 및 개체를 업로드, 생성 또는 검색할 수 있습니다. 사용 가능한 버킷이 왼쪽에 나열됩니다. 검색 아래에는 객체 목록, 객체 크기 및 객체가 마지막으로 수정된 시간이 있습니다.
클러스터 탭은 관리자에게 클러스터에 대한 여러 가지 다른 보기를 제공합니다. 탭 내에는 지역별 클러스터를 표시하고 클러스터의 상태를 표시하는 데이터 센터에 대한 여러 하위 탭이 있습니다. 녹색은 명확하고 황색은 경고를 의미합니다(각 육각형 아래 그림은 클러스터 내의 노드를 나타냄).
사용된 디스크 공간의 백분율, CPU 사용률, 사용 중인 디스크에 대한 자세한 정보, 메모리 사용량에 대한 정보, 서비스 상태 및 이벤트 목록과 같은 측면을 나타내는 전체 상태를 표시하는 노드 상태 탭이 있습니다. .
노드 활동 탭은 관리자에게 노드의 특정 운영 측면에 대한 그래픽 표현을 제공합니다. 사용자는 CPU 사용률(아래 그림), 사용 가능한 디스크, 디스크 읽기, 디스크 쓰기, 네트워크 처리량(발신), 네트워크 처리량(수신), 트랜잭션(가져오기), 트랜잭션(Put, 요청 처리량(가져오기), 요청 처리량을 포함한 여러 옵션을 사용할 수 있습니다. (Put), 평균 요청 지연 시간(Get), 평균 요청 지연 시간(Put), 관리 메모리 힙 사용량, Cassandra 메모리 힙 사용량, HyperStore 메모리 힙 사용량 및 S3 메모리 힙 사용량.
고급 설정은 유지 관리, 디스크 비활성화, 진단 수집 기능 및 노드 제거를 활성화합니다.
클러스터 구성 탭에서 관리자는 클러스터 정보를 볼 수 있을 뿐만 아니라 라이센스를 업데이트하고 클러스터 구성 설정을 보고 편집하며 자동 종료를 설정할 수 있습니다. 자동 계층화의 경우 고객은 단일 Amazon 계정을 보유해야 합니다.
스토리지 정책 탭에서는 관리자가 EC2+1을 포함한 정책을 설정할 수 있습니다. 이 탭에는 포인트 앤 클릭 데이터 배포와 이레이저 코딩 K+M 값을 선택하기 위한 드롭 화면이 있습니다. 이를 선택한 후 관리자는 지역별 데이터 센터 및 각 지역 내 데이터 센터를 할당할 수 있습니다. 데이터 센터가 할당되면 사용자는 데이터 및 메타 데이터 일관성 수준과 그룹 가시성을 설정할 수 있습니다.
알림 규칙을 사용하면 노드에 있는 특정 항목에 대한 특정 주소로 이메일을 보낼 수 있습니다. 관리자는 알림을 받을 이메일 주소를 추가한 다음 주어진 규칙을 통해 알림을 받을 항목을 선택해야 합니다. 예를 들어 클러스터가 90% 이상의 CPU 사용률을 사용하는 경우 알림을 받으려면 이 탭을 통해 설정할 수 있습니다.
클러스터 탭의 마지막 하위 탭에는 복구 상태 및 복구 기록이 표시됩니다.
경고 탭은 시스템 내에서 문제 또는 변경 사항이 있을 때를 나타냅니다. 경고는 노드 또는 지역별로 정렬할 수 있으며 이를 확인하여 지울 수 있습니다.
결론
HyperStore는 가능한 기회와 광범위하게 사용 가능한 클라우드 스토리지 및 개방형 API의 융합을 보여주는 스토리지 플랫폼입니다. HyperStore 소프트웨어 어플라이언스를 통해 관리자는 새로운 상용 하드웨어 또는 목적에 맞게 구축된 HyperStore 하드웨어 어플라이언스를 추가하여 원활하게 확장할 수 있는 옵션을 사용하여 상용 서버 하드웨어 전체에 완벽하게 호환되는 S3 개체 스토리지 클라우드를 배포할 수 있습니다.
Cloudian은 Amazon S3 기타 클라우드 플랫폼과의 상호 운용성을 위해 처음부터 HyperStore를 구축함으로써 서로 다른 두 스토리지 환경을 관리할 필요 없이 계층화, 백업, 복제 및 기타 기능을 위해 타사 클라우드 공급자를 최대한 활용하는 솔루션을 고객에게 제공할 수 있습니다. 아키텍처 또는 관리 패러다임. 이는 또한 HyperStore 관리자와 사용자가 잘 구축된 S3 애플리케이션 에코시스템에 대한 HyperStore의 기본 지원을 활용할 수 있음을 의미합니다.
히프 라인
HyperStore는 온프레미스 S3 클라우드 스토리지의 기능과 유연성을 API 통합과 함께 상용 하드웨어에 제공하여 Amazon, Google, Microsoft 등의 오프사이트 클라우드 스토리지를 최대한 활용합니다.
Cloudian HyperStore 하드웨어 어플라이언스
