컴퓨팅은 특히 지난 30년 동안 극적으로 변했습니다. IDC에 따르면 웹 및 모바일 애플리케이션의 부상과 콘텐츠 생성 도구의 상품화로 인해 엔드포인트 콘텐츠 소비 및 콘텐츠 생성이 최소 XNUMX배 증가했습니다. 따라서 오늘날 기업들은 현재 일반적으로 저장하는 페타바이트 데이터에서 더 많은 가치를 얻고자 합니다. 애플리케이션 및 인프라 계층에서 작동하는 진정한 셀프 서비스 클라우드는 이제 수십억 달러 규모의 비즈니스입니다. 센서 네트워크 및 기타 기계 간 상호 작용은 데이터 이동 및 저장에서 또 다른 기하급수적 도약을 약속합니다. 그러나 용량과 프로세서 성능의 증가를 제외하고 데이터와 콘텐츠 사용에 있어 이러한 모든 기념비적인 변화에도 불구하고 공통 스토리지 아키텍처는 지난 XNUMX년 동안 기본적으로 변경되지 않았습니다. 우리는 테라바이트용으로 설계된 아키텍처로 멀티 페타바이트 규모의 컴퓨팅을 시도하고 있습니다.
기업 마케팅 부사장 Leo Leung은 경관
컴퓨팅은 특히 지난 30년 동안 극적으로 변했습니다. IDC에 따르면 웹 및 모바일 애플리케이션의 부상과 콘텐츠 생성 도구의 상품화로 인해 엔드포인트 콘텐츠 소비 및 콘텐츠 생성이 최소 XNUMX배 증가했습니다. 따라서 오늘날 기업들은 현재 일반적으로 저장하는 페타바이트 데이터에서 더 많은 가치를 얻고자 합니다. 애플리케이션 및 인프라 계층에서 작동하는 진정한 셀프 서비스 클라우드는 이제 수십억 달러 규모의 비즈니스입니다. 센서 네트워크 및 기타 기계 간 상호 작용은 데이터 이동 및 저장에서 또 다른 기하급수적 도약을 약속합니다. 그러나 용량과 프로세서 성능의 증가를 제외하고 데이터와 콘텐츠 사용에 있어 이러한 모든 기념비적인 변화에도 불구하고 공통 스토리지 아키텍처는 지난 XNUMX년 동안 기본적으로 변경되지 않았습니다. 우리는 테라바이트용으로 설계된 아키텍처로 멀티 페타바이트 규모의 컴퓨팅을 시도하고 있습니다.
SDS(Software-Defined Storage)는 스토리지가 진정으로 다른 컴퓨팅 서비스 중에서 서비스 중 하나가 되는 보다 유연한 스토리지 모델을 약속합니다. 응용 프로그램이 변경되고 시스템이 확장 및 축소될 때 데이터와 서비스가 더 자유롭게 흐를 수 있어야 하므로 하드웨어 독립성은 이 아키텍처의 일부입니다. SDS는 데이터 관리 기능을 독점 폐쇄형 어플라이언스에 내장하는 대신 이 기능을 하드웨어에서 분리하여 데이터에 중점을 둔 기능을 구현하고 자연스럽게 하드웨어에 걸쳐 있습니다. 시간이 지남에 따라 다른 인프라 상품화 패턴(예: 소프트 스위치)과 마찬가지로 이 분리는 오늘날 스토리지 어플라이언스에 포함된 팽창된 마진(60%)을 노출합니다.
SDS는 종종 멀티 페타바이트 규모로 배포되기 때문에 가용성이 매우 높아야 하며 알려진 장애 시나리오에 개입할 필요가 없습니다. 애플리케이션 인터페이스는 기존 애플리케이션과 최신 웹 및 모바일 기반 앱 모두에 친숙해야 합니다. 성능은 강력하고 선형적으로 확장 가능하며 혼합 워크로드에 적합해야 합니다. 데이터 보호 및 데이터 복구와 같은 서비스는 동일한 수준의 역동성 및 확장성을 위해 설계되어야 합니다.
이는 물리적 하드웨어에 완전히 연결되어 있고 독점 어플라이언스의 제한된 범위 내에서 가용성, 데이터 액세스, 성능, 관리 및 내구성 기능을 포함하는 레거시 스토리지 아키텍처와 매우 대조적입니다. 이러한 레거시 아키텍처는 앞서 언급한 각 차원에서 더 작은 규모로 설계되었습니다.
SAN은 여전히 데이터에 대한 짧은 대기 시간 액세스에 대한 좋은 접근 방식이지만 대규모에서는 좋지 않습니다.
SAN은 전용 로컬 네트워크를 통해 스토리지와 인터페이스하는 가장 기본적인 방법으로 설계되었습니다. 그것은 작은 논리적 볼륨에서 데이터 블록을 제어하지만 데이터가 무엇인지에 대한 컨텍스트가 없으며 데이터를 구성, 분류 및 구조화하는 데 전적으로 응용 프로그램에 의존합니다. 설계상 SAN은 규모, 인터페이스 및 범위가 제한되어 있으며 일반적으로 전용 네트워크 인프라로 인해 비용이 더 높습니다.
파일은 여전히 지배적이며 NAS는 일꾼이지만 규모면에서 문제가 있습니다.
NAS는 또한 로컬 네트워크 스토리지와 인터페이스하는 방법으로 설계되었지만 파일 시스템 및 파일의 형태로 더 많은 구조를 제공합니다. 파일 시스템에는 파일 계층 및 파일 액세스를 관리하는 데 사용되는 로컬 내부 구조를 기반으로 하는 자연스러운 제한이 있습니다. 관리되는 파일 계층 구조 내의 정보로 인해 시스템의 콘텐츠에 대한 보다 기본적인 인식이 있지만 물리적 스토리지 컨트롤러에 완전히 지역화됩니다. 또한 설계상 NAS 시스템은 규모와 범위가 제한되어 있습니다. 클러스터링된 NAS 시스템은 기술의 확장성을 확장하지만 물리적 컨트롤러(10 단위로 번호 매기기)와 파일 계층 및 파일을 추적하는 데 사용되는 중앙 데이터베이스에 묶인 자연적인 한계도 있습니다.
Object Storage는 규모를 다루었지만 워크로드 지원이 매우 제한적입니다.
오브젝트 스토리지는 종종 로컬 파일 시스템의 상단과 전체에 추가 추상화를 생성하는 기술입니다. 즉, 시스템의 데이터는 각 개체에 대한 고유 식별자가 있는 전역 네임스페이스에서 개체(블록 또는 파일 대신)로 관리됩니다. 이 네임스페이스는 수백 대의 서버에 걸쳐 있을 수 있으므로 SAN 또는 NAS 모델보다 더 쉽게 용량을 확장할 수 있습니다.
그러나 개체 저장소는 응용 프로그램을 특정 HTTP API로 다시 작성해야 하고 성능이 일반적으로 WORM(Write Once, Read Many) 또는 한 번 쓰고 읽지 않음 시나리오로 제한되기 때문에 응용 프로그램 지원이 근본적으로 제한됩니다. 이러한 성능 부족은 제한된 메타데이터 노드 세트를 통해 트래픽을 강제하는 아키텍처로 인해 삭제 코딩과 같은 서비스를 통해 이러한 제한된 노드에 오버헤드를 추가하는 경우가 있습니다.
소프트웨어 정의 스토리지는 대규모 확장을 위해 전체적으로 설계되었습니다.
소프트웨어 정의 스토리지는 특정 하드웨어에서 스토리지 기능을 완전히 분리하고 결과적으로 보다 유연한 배포, 확장성, 접근성 및 운영을 가능하게 하는 새로운 접근 방식입니다.
SDS의 분리를 통해 소프트웨어는 하드웨어를 독립적으로 활용하고 사용 사례에 따라 용량, 성능 및 접근성을 독립적으로 확장할 수 있습니다. 이러한 유형의 사용자 지정은 이러한 목적을 위해 특수 제작된 하드웨어 구성 요소가 있어 궁극적으로 여전히 유연성과 총 규모를 제한하는 최고급 기존 스토리지 외부에서는 불가능합니다.
하드웨어에서 스토리지 기능을 분리하면 하드웨어 및 소프트웨어 예외 처리를 낮은 신호 대 잡음 스택으로 결합하는 어플라이언스의 문제를 해결하지 않고도 전체 시스템의 문제를 쉽게 식별할 수 있습니다.
소프트웨어와 하드웨어의 기본 분리 외에도 SDS 스토리지 서비스는 물리적 경계를 확장할 수 있는 용량, 가용성, 내구성 및 접근성 서비스를 제공함으로써 분리를 활용합니다. SDS의 일반적인 속성은 개체 저장소를 사용하여 거의 무제한에 가까운 고유한 개체의 이름 공간을 만드는 것입니다. 이것은 설계상 기본적인 확장 제한이 있는 논리 단위 번호(LUN) 및 파일 시스템의 관리 단위를 초월합니다. 이를 통해 SDS 시스템은 새로운 관리 단위를 추가하지 않고도 더 많은 물리적 용량을 추가하여 간단히 확장할 수 있습니다.
SDS 시스템의 가용성은 SDS 노드 사이의 사설 네트워크 공간을 활용하여 훨씬 우수할 수도 있습니다. 대부분의 SAN 및 NAS 시스템의 제한된 활성/수동 컨트롤러 배열 또는 확장형 NAS의 클러스터형 배열 대신 SDS 시스템은 도메인 내에서 수천 개의 주소로 계속 확장할 수 있습니다. 또한 SDS 시스템은 고급 라우팅 알고리즘을 활용하여 대규모 토폴로지 및 여러 장애 시나리오에 직면한 경우에도 응답을 보장할 수 있습니다. 이것은 단순한 케이블 연결 실수로 인해 전체 어레이가 다운될 수 있는 기존 스토리지의 단순한 전환 패브릭 또는 데이지 체인을 훨씬 능가합니다.
기존 스토리지 시스템의 내구성은 거의 즉각적인 교체가 필요한 한두 개의 디스크에서 가끔 발생하는 오류를 지원하도록 설계되었습니다. 페타바이트 규모의 시스템에서 디스크의 수는 수백에서 시작하여 종종 수천으로 증가합니다. MTBF(Mean Time Between Failures)가 높더라도 여러 디스크는 항상 다운됩니다. SDS 시스템은 많은 오류와 다양한 오류 도메인을 예상하도록 설계되었습니다. 분산 보호 체계와 매우 빠른 재구축을 위해 분산 용량 및 처리를 자연스럽게 활용합니다. 이는 디스크 재구축 또는 기타 스토리지 서비스 중에 심각한 병목 현상이 발생하는 수직 확장 아키텍처의 이중 컨트롤러 체계와 비교하여 대규모로 필요합니다.
접근성은 기존 스토리지 시스템에서 사소한 문제였습니다. 애플리케이션 서버 또는 메인프레임은 몇 가지 완성된 프로토콜이 있는 로컬 스토리지별 네트워크에 있었습니다. 공유 이더넷 네트워크와 공용 및 개인용 혼합 액세스가 이제 표준입니다. SDS 시스템은 훨씬 더 광범위한 요구 사항을 지원해야 합니다. 웹 기반 액세스부터 이더넷 기반 액세스까지, 네트워크 기반 스토리지 리소스부터 애플리케이션 서버의 로컬 리소스로 배포되는 것까지 SDS는 모든 것을 지원해야 합니다.
이 문서 전반에 걸쳐 설명된 바와 같이 기존 스토리지는 고도로 전문화되어 있어 일반적인 대기업 전체에서 많은 기능 및 데이터 사일로로 이어집니다. 이는 운영 관점에서 매우 비효율적일 뿐만 아니라 규모의 경제가 없으며 데이터 공유 및 재사용 기회를 크게 제한합니다.
SDS는 지속형에서 상태 비저장형, 단순형에서 고도의 대화형 및 의미론적으로 풍부한 프로토콜에 이르기까지 다양한 프로토콜을 사용하여 대부분의 애플리케이션 통합 요구 사항을 충족하도록 설계되었습니다. 이를 통해 파일이 작든 크든, 다양한 보호 요구 사항 및 다양한 프로토콜 요구 사항에 관계없이 스토리지가 애플리케이션을 위한 일반 서비스가 될 수 있는 범용 환경이 가능합니다. 이는 NAS, 개체 및 테이프 스토리지 사이의 현재 경계를 허물고 하이퍼스케일 플레이어가 수년 동안 누려온 레버리지를 해제하고 연결이 수십억 개의 엔드포인트로 확장된 세상을 위해 스토리지 서비스를 업데이트합니다.
요약하면 애플리케이션과 요구 사항이 크게 변경되었습니다. 전체 데이터의 90%가 지난 XNUMX년 동안 생성되었습니다. 우리는 엑사바이트가 바로 코앞에 있는 페타바이트 시대에 있습니다. 페타바이트 규모의 고통과 개선된 데이터 가치에 대한 탐구는 수십 년 된 기존 접근 방식이 설계된 한계에 도달하고 압도됨에 따라 새로운 접근 방식을 고려하는 촉매제가 되었습니다.
저자 소개,
Leo Leung을 팔로우할 수 있습니다. Twitter에서 또는 다음에서 그의 웹사이트를 보십시오. techexpectations.org.
