인텔® Optane™ 영구 메모리(PMem)가 처음 나왔을 때 데이터 센터에서 비즈니스가 수행되는 방식을 근본적으로 바꿀 것이라는 것을 알고 있었지만 그 방법의 수를 완전히 예측할 수는 없었습니다. 모든 신기술의 경우와 마찬가지로 우리는 영구 메모리의 초기 사용 사례를 알고 있었지만 널리 사용 가능해지면 추가 사용 사례가 나타날 것이라는 점도 이해했습니다.
인텔® Optane™ 영구 메모리(PMem)가 처음 나왔을 때 데이터 센터에서 비즈니스가 수행되는 방식을 근본적으로 바꿀 것이라는 것을 알고 있었지만 그 방법의 수를 완전히 예측할 수는 없었습니다. 모든 신기술의 경우와 마찬가지로 우리는 영구 메모리의 초기 사용 사례를 알고 있었지만 널리 사용 가능해지면 추가 사용 사례가 나타날 것이라는 점도 이해했습니다.
기업과의 논의에서 우리는 경쟁력을 유지하기 위해 인메모리 시스템이 제공하는 성능 향상이 필요하다는 것을 알았습니다. 이를 위해 DRAM을 사용하는 것은 메모리에 저장하려는 데이터의 크기를 고려하기 어려운 비용 및 크기 제한이 있었습니다. 이 백서에서는 대규모 데이터 세트를 사용하는 빠른 실시간 애플리케이션을 지원하는 인프라 구조를 생성하기 위해 DRAM의 한계를 극복하기 위해 Hazelcast 및 MemVerge에서 Intel Optane PMem을 어떻게 활용하는지 살펴보겠습니다.
우리는 MemVerge, Hazelcast, Intel 및 Dell Technologies와 힘을 합쳐 실시간 분석을 지원하기 위해 인프라를 배포하는 방법을 시연했습니다. 특히 인메모리 데이터 마트에 저장되기 전에 수집 및 변환된 실시간 데이터의 빠른 수신 스트림이 있는 환경을 설정했습니다. 핵심 목표는 Intel Optane PMem이 대규모 실시간 시스템을 구현하는 데 얼마나 중요한지, 그리고 Intel Optane PMem이 그 잠재력을 최대한 실현하려면 추가 소프트웨어가 필요하다는 것을 보여주는 것이었습니다.
우리가 수행한 테스트를 강조하기 전에 Intel Optane PMem에 대한 간단한 복습이 있습니다. 헤이젤 캐스트, 그리고 멤버지.
인텔 옵테인 PMem
퍼시스턴트 메모리는 개념으로서 1980년대 중반부터 있었지만 인텔이 인텔 옵테인 퍼시스턴트 메모리 모듈(PMM)을 출시하기 시작한 2018년에야 상용 데이터 센터에서 실제로 사용할 수 있는 제품이 되었습니다. Intel Optane PMem은 DRAM보다 약간 느리지만 SSD(Solid-State Drive)보다 상당히 빠르기 때문에 업계의 판도를 바꾸는 제품입니다.
DRAM보다 느리지만 Intel Optane PMem은 상당히 저렴하고 기존 DRAM보다 더 큰 메모리 용량 크기를 제공하므로 몇 가지 뚜렷한 이점이 있습니다. 이름에서 알 수 있듯이 인앱 다이렉트 모드를 활성화하면 영구적입니다. 즉, 저장된 데이터는 상주하는 장치의 정전이나 재부팅 후에도 유지됩니다.
Intel Optane PMem의 낮은 대기 시간의 비밀 중 하나는 메모리 버스에 상주하여 DRAM과 같은 데이터 액세스가 가능하다는 것입니다.
DDR4의 이론상 모듈당 최대 용량은 128GB이지만 가장 일반적으로 사용되는 용량은 4GB에서 64GB 사이입니다(그러나 64GB 모듈도 사용 가능하지만 일반적으로 사용되지는 않음).
Intel은 현재 Intel Optane PMem을 128GB, 256GB 및 512GB 모듈로 배송하고 있습니다. 이는 DRAM 용량의 최대 16배를 제공합니다.
GB당 비용 기준으로 Intel Optane PMem은 DRAM의 절반 정도입니다. 더 큰 용량과 더 낮은 가격으로 인해 서버는 DRAM만 있는 서버보다 더 낮은 비용으로 애플리케이션에 사용할 수 있는 지연 시간이 더 짧은 데이터를 더 많이 보유할 수 있습니다. 그리고 테스트에서 알 수 있듯이 많은 애플리케이션의 경우 실제 사용에서 DRAM과 PMem 간의 대기 시간 차이는 무시할 수 있습니다.
이 기술의 이름에는 "지속성"이라는 단어가 포함되어 있지만 Intel Optane PMem에 있는 데이터의 지속성은 종종 간과되고 과거에는 완전히 활용되지 않았습니다. 그러나 MemVerge는 데이터 지속성을 활용하여 기업에 추가 서비스를 제공하는 방법을 고안했습니다.
멤버지
Intel Optane PMem이 제공하는 강력한 기능에는 이를 현명하게 사용할 책임이 있으며, 여기에서 MemVerge가 등장합니다. 대부분의 서버 모니터링 및 관리 도구는 CPU, 디스크 및 네트워크 지표와 같은 레거시 하드웨어를 살펴보는 반면 MemVerge® Machine™은 DRAM 및 Intel Optane PMem의 모니터링, 관리 및 활용에 초점을 맞추고 있습니다.
Intel Optane PMem의 초기 과제 중 하나는 응용 프로그램에서 PMem을 사용하도록 허용하는 방법을 결정하는 것이었습니다. MemVerge 메모리 머신이 없으면 Intel Optane PMem을 DRAM의 대안으로 사용할 수 있지만 Intel Optane PMem은 특수 API를 사용하므로 드롭인 대체품으로는 사용할 수 없습니다. MemVerge는 Intel Optane PMem이 모든 애플리케이션에서 DRAM처럼 보이도록 해당 API를 추상화합니다. 메모리 머신을 사용하여 Intel Optane PMem은 DRAM이 애플리케이션에 제공되는 것과 동일한 방식으로 애플리케이션에 제공됩니다. 이를 통해 기존 애플리케이션은 재설계할 필요 없이 Intel Optane PMem을 사용할 수 있으므로 회사는 애플리케이션 재프로그래밍 비용과 더 중요한 것은 그렇게 하는 데 걸리는 시간을 절약할 수 있습니다. Memory Machine은 특허 기술을 통해 메모리 풀을 생성한 다음 Intel Optane PMem 및 DRAM을 계층화하여 애플리케이션 성능을 최적화하기 위해 필요에 따라 둘 사이에서 데이터를 이동함으로써 애플리케이션에 미치는 영향을 극대화합니다.
Memory Machine의 혁신적인 ZeroIO는 메모리 간 스냅샷(즉, DRAM에 포함된 데이터의 스냅샷을 Intel Optane PMem으로)을 허용하여 사실상 DRAM을 영구적으로 만듭니다.
과거에는 인메모리 스냅샷을 기존 스토리지에 저장해야 했으며 이 프로세스는 최대 XNUMX시간이 걸릴 수 있었습니다. 그러나 ZeroIO를 사용하면 중단 없이 몇 초 만에 동일한 작업을 수행할 수 있습니다.
MemVerge는 ZeroIO를 활용하여 다른 메모리 데이터 서비스를 제공합니다. 시간 여행을 사용하면 애플리케이션이 이전에 촬영한 스냅샷으로 되돌릴 수 있으며 이 기능과 밀접하게 결합된 AutoSave는 시간 기반 간격으로 스냅샷을 자동으로 촬영합니다. 메모리에 저장된 데이터를 다른 물리적 서버로 이동해야 하는 경우 ZeroIO 스냅샷을 해당 서버로 이동할 수 있습니다.
메모리 모니터링 및 위의 서비스 촉진은 MemVerge Memory Machine Management Center(M3C)를 통해 수행됩니다.
Memory Machine이 데이터베이스와 함께 사용된다고 언급했지만 애니메이션 및 렌더링을 위한 Autodesk의 Maya 3D부터 TensorFlow(머신 러닝 프레임워크)는 물론 우리가 개발한 제품인 Hazelcast를 비롯한 기타 애플리케이션에 이르기까지 다양한 애플리케이션을 지원합니다. 이 기사에서 강조 표시됩니다.
헤이젤 캐스트
Hazelcast는 성장하는 인메모리 컴퓨팅 플랫폼 분야의 핵심 혁신가이자 리더입니다. 그들의 플랫폼은 실시간 정보가 중요한 금융, 전자 상거래 및 기타 유형의 조직에서 사용됩니다. 예를 들어, 사기 탐지 및 거래 결정 지원을 위해.
Hazelcast는 두 가지 수준에서 빠른 애플리케이션을 지원합니다. 첫째, 확장 가능한 빠른 메모리의 가상 풀을 활성화하기 위해 클러스터의 여러 서버에 데이터를 분산하는 메모리 내 저장소를 제공합니다. 더 많은 데이터를 추가하는 프로세스는 단순히 다른 서버를 클러스터에 추가하는 것과 관련됩니다. 둘째, Hazelcast에는 서버 클러스터의 모든 CPU에 분산되는 하위 작업으로 분할된 애플리케이션 논리를 처리하는 컴퓨팅 엔진이 포함되어 있습니다. 이는 클러스터의 집합적 컴퓨팅 성능을 활용할 뿐만 아니라 효율적이고 빠른 방식으로 데이터의 병렬 처리를 허용합니다(여기에는 변환, 강화, 집계 및 분석 포함). Hazelcast는 스트리밍 데이터 기능을 통해 생성 즉시 데이터를 처리할 수 있으므로 차세대 실시간 응용 프로그램을 구축하는 데 유용합니다.
실시간 데이터 분석
실시간 시스템은 주로 속도와 규모라는 두 가지 주요 특성에 의해 구동됩니다. 속도는 생성되는 데이터를 따라갈 수 있도록 보장하는 반면, 규모는 해당 데이터의 양을 처리할 수 있도록 보장합니다. 문제를 더욱 복잡하게 만드는 것은 데이터가 다양한 출처에서 나올 수 있다는 것입니다. 물론 값비싼 DRAM을 보다 저렴한 Intel Optane PMem으로 교체하는 것과 같은 혁신적인 수단을 사용하지 않는 한 더 빠른 속도와 더 높은 규모는 더 높은 비용과 동일합니다.
실시간 데이터 분석 기능은 기업과 조직이 직면할 수 있는 다양한 상황에 대한 즉각적인 통찰력을 제공하고 이에 대응하는 데 필요한 정보를 제공합니다. 예를 들어 은행이 이전보다 더 높은 유동성을 유지해야 하는 바젤 III와 같은 이니셔티브를 준수한다는 것은 은행이 수익을 창출하기 위해 활용할 수 있는 자금이 적다는 것을 의미합니다. 동시에, 그들은 더 높은 유동성 요구 사항을 가진 감사관과 감독관에 의해 불이익을 받지 않도록 일상적인 위험을 이해하고 있음을 증명해야 합니다. 위험 관리 및 규정 준수를 위한 실시간 시스템을 통해 은행은 거래 위치를 즉각적으로 파악하여 위험 노출을 보다 효과적으로 이해하고 보고할 수 있습니다.
또 다른 예를 강조하자면, 주식 거래 분석 시스템은 거래를 추적하고 실시간으로 분석 가능한 형태로 제공합니다. 이러한 시스템은 주식 거래에서 얻은 수익을 통해 명확한 투자 수익(ROI)으로 인해 높은 비용을 정당화할 수 있습니다.
테스트 시나리오
이러한 기술을 조사하기 위해 사용하기로 선택한 애플리케이션은 비용 효율적인 "주문형 분석"이 고비용 실시간 시스템에 대한 적절한 대안임을 보여주기 위해 Hazelcast에서 만든 거래 모니터링 코드 기반을 기반으로 합니다.
이것은 소규모 연구 프로젝트였기 때문에 우리는 테스트 환경이 일반적인 프로덕션 환경을 완전히 반영하지 못하게 하는 몇 가지 절충안을 만들었습니다. 예를 들어, 우리가 사용한 Dell EMC 서버의 컴퓨팅 성능은 필요한 가용 데이터 소스보다 훨씬 강력했기 때문에 서버에서 사용 가능한 CPU 성능을 최대한 활용하지 못했습니다. 또한 단순화를 위해 외부 데이터 전달 시스템을 최적화하지 않았습니다. 생산 시스템에서 모든 구성 요소는 이 설정의 성능과 비용 효율성을 개선하기 위해 최적화되고 조정되었을 것입니다.
목표 테스트
테스트의 가장 중요한 측면은 Intel Optane PMem이 실시간 데이터 피드를 유지할 수 있는지 확인하는 것이었습니다.
Intel Optane PMem에서 지원하는 인메모리 데이터 마트에서 집계/인덱싱된 데이터의 액세스 속도 테스트를 편향했습니다. MemVerge 및 Hazelcast의 이전 테스트에서 벤치마크는 데이터 액세스 속도가 DRAM의 속도와 매우 유사하여(많은 경우 읽기 및 쓰기 속도가 동일한 것으로 입증됨) 디스크 또는 SSD 기반 데이터보다 훨씬 빠른 것으로 나타났습니다. 액세스합니다. 데이터 액세스 속도가 다른 아키텍처 구성보다 이점을 제공한다는 것을 알고 있었기 때문에 테스트는 수집 측면에만 집중했습니다.
테스트를 위해 데이터 원본 서버에서 가상 데이터를 생성했습니다. 들어오는 데이터 피드의 각 데이터 요소는 주식 거래를 나타냅니다. 주식 기호, 수량, 가격 및 시간이 가장 중요한 가치였습니다. 각 주식 기호는 생성된 데이터 세트에서 여러 번 사용되어 주어진 주식에 대해 하루에 여러 거래를 시뮬레이션했습니다. 그런 다음 이러한 개별 거래를 집계하여 주어진 주식 기호에 대한 거래 총계를 제공했습니다.
생성된 데이터는 빠른 데이터 스트림을 캡처하는 기능으로 인해 Apache Kafka에 저장되었습니다. Kafka의 각 레코드에는 페이로드의 모든 메타데이터를 포함하여 210바이트가 필요했습니다. Kafka는 XNUMX개의 개별 브로커를 모두 단일 데이터 소스 시스템에서 실행하고 각 브로커에 XNUMX개의 파티션을 갖도록 구성되었습니다. 물론 이 구성은 분산 기술을 위한 단일 소스 시스템을 갖는 것이 비현실적이기 때문에 프로덕션 환경에서 사용되지 않습니다. 그러나 테스트 목적에는 적합했습니다.
테스트 환경
테스트를 위해 Dell EMC PowerEdge R750 서버 74대와 Dell EMC PowerEdge RXNUMXxd 서버 XNUMX대를 사용했습니다. 세 명은 MemVerge Memory Machine과 Hazelcast를 사용하여 분석 애플리케이션을 실행했고 네 번째는 테스트 데이터를 생성하고 저장했습니다.
분석 서버
| 모델 | 델 EMC 파워 에지 R750 |
| CPU | 듀얼 Intel® Xeon® Gold 6330 프로세서 @ 2GHz(Ice Lake)
각각 28개 코어(총 56개, Intel® Hyper-Threading 기술 사용 시 112개) |
| DRAM | 16GB DRAM DDR64 DIMM 4개
서버당 1TB |
| 인텔 옵테인 PMem | 16GB Intel Optane PMem DDR-T 인터페이스의 DIMM 128개
서버당 2TB |
| 네트워크 인터페이스 | 10 GbE |
| 소프트웨어 | 멤버지 메모리 머신 1.2
헤이즐캐스트 플랫폼 5.0 |
데이터 소스 서버
| 모델 | 델 EMC 파워에지 R740xd |
| CPU | 듀얼 Intel® Xeon® Gold 6140 프로세서 @ 2.3GHz(Skylake)
각각 18개 코어(총 36개, 인텔® 하이퍼 스레딩 기술 사용 시 72개) |
| DRAM | 12GB DRAM DDR32(4GB)의 DIMM 384개
2GB NVDIMM DDR16(4GB)의 DIMM 32개 |
| 인텔 옵테인 PMem | 필요 없음 |
| 네트워크 인터페이스 | 10 GbE |
| 소프트웨어 | 아파치 카프카 2.8
Hazelcast에서 제공하는 데이터 생성 도구 |
테스트 중에 분석 서버의 DRAM 양이 훨씬 작을 수 있음을 발견했습니다. DRAM은 대부분 운영 체제에서 사용되었지만 응용 프로그램은 주로 소량의 DRAM과 함께 Intel Optane PMem을 사용했습니다. 비용 절감을 최적화하려면 서버의 절대 최소 DRAM 구성이 합리적입니다.
시험 결과
데이터 원본을 만들기 위해 Kafka에 저장된 약 5억 개의 레코드를 만들었습니다. 그런 다음 XNUMX개의 애플리케이션 서버에서 실행되는 수집 애플리케이션이 XNUMX개의 Hazelcast 인스턴스(Dell Technologies 서버당 하나의 Hazelcast 서버)에서 데이터를 수집하기 시작했습니다.
DRAM만 사용할 때 응용 프로그램을 테스트하고 MemVerge와 함께 Intel Optane PMem을 사용할 때와 비교했습니다. 테스트 결과에 따르면 쓰기가 주를 이루는 워크로드의 경우 Intel Optane PMem만 사용하는 경우 순수 DRAM을 사용할 때보다 32%의 성능 저하가 발생했습니다(242K 대 357K). 그러나 Intel Optane PMem + DRAM 구성을 사용할 때 9%의 페널티만 보였습니다. 쓰기 작업을 더욱 분산시키기 위해 클러스터의 서버 수를 늘림으로써 이 범위를 더욱 좁힐 수 있었습니다. 추가 서버의 추가 비용은 저전력 CPU를 구입하여 상쇄할 수 있습니다. 주어진 워크로드가 반드시 이 테스트된 하드웨어 구성의 전체 CPU 성능을 활용하지는 않기 때문입니다.
| 구성 | 성능(초당 레코드) |
| DRAM 전용 | 357,000 |
| Intel Optane PMem은 50GB DRAM + 메모리 머신을 지원합니다. | 325,000 |
| Intel Optane PMem + 메모리 시스템 전용 | 242,000 |
우리는 테스트한 각 구성의 가격 책정을 고려했지만 비용의 잠재적인 변동 및 이러한 추정치를 곧 구식으로 만들 수 있는 기타 요인을 고려하여 그렇게 하지 않았습니다. 그러나 설정된 비용에 관계없이 DRAM을 지원하는 Intel Optane PMem은 DRAM 전용 기반 서버보다 훨씬 저렴합니다.
테스트 해석
테스트에서 얻은 주요 내용은 Intel Optane PMem 지원 서버 클러스터가 방금 DRAM을 사용한 클러스터와 거의 동일한 속도로 훨씬 낮은 비용으로 수행할 수 있다는 것입니다.
우리에게 또 다른 중요한 점은 인텔 Optane PMem을 사용하여 몇 주 또는 몇 달의 데이터를 캡처하고 저장할 수 있다는 것입니다. 이 PMem을 사용하면 기업은 데이터를 실시간으로 분석할 수 있을 뿐만 아니라 과거 데이터를 고속으로 분석할 수 있습니다. 데이터. 이는 기계 학습(ML)과 같은 고급 분석 도구를 사용하여 추가 통찰력을 드러낼 수 있는 추세 및 패턴을 분석할 수 있는 기회를 열어줍니다.
즉, 기업은 데이터 웨어하우스 또는 데이터 레이크를 배포할 때 비용이나 속도의 절충 없이 광범위한 시간 범위를 포괄하는 실시간 분석 환경을 배포하고 새로운 형태의 분석을 탐색할 수 있습니다.
기타 테스트
환경을 설정하는 동안 MemVerge Memory Machine의 다른 기능 중 일부, 특히 스냅샷 및 복구 기능도 테스트하고 싶었습니다. 다행스럽게도 Memory Machine은 Hazelcast 클러스터와 통합되어 스냅샷 및 스냅샷 복구를 M3C에서 직접 관리할 수 있습니다.
스냅샷은 온디맨드 또는 설정된 일정에 따라 언제든지 생성할 수 있으며 클러스터의 피크 작업 중에 두 가지 방법을 모두 테스트했습니다. 문제나 분석 성능에 영향을 주지 않고 몇 초 만에 스냅샷이 완료되었습니다. Hazelcast 클러스터에 정전과 같은 문제가 발생한 경우 스냅샷 중 하나를 사용하여 데이터를 복구할 수 있습니다.
스냅샷 기능은 보호에 유용할 뿐만 아니라 서버의 활용도를 높이는 데에도 사용할 수 있습니다. 금융 기관에서 서버는 일반적인 거래 시간에 많이 사용되지만 업무 외 시간에는 상대적으로 유휴 상태입니다. 핫 스타트 방식을 사용하면 서버의 활용률을 획기적으로 높일 수 있습니다. 예를 들어, 거래일이 끝날 때 거래 데이터베이스의 스냅샷을 찍을 수 있습니다. 그런 다음 거래 데이터베이스가 종료되면 서버를 데이터 마이닝과 같은 다른 데이터 처리 작업으로 설정할 수 있습니다. 거래일이 시작될 때 거래 데이터베이스를 신속하게 복원하고 거래 작업을 재개할 수 있습니다.
결론
Intel Optane PMem은 데이터 센터를 재구성하기 시작한 흥미롭고 혁신적인 기술이지만 다른 모든 기술과 마찬가지로 다행스럽게도 진공 상태로 존재하지 않습니다. Dell Technologies, Intel, MemVerge 및 Hazelcast와 같은 선도적이고 미래 지향적인 회사는 시너지 효과를 찾고 데이터 센터에서 진정한 잠재력을 찾기 위해 이 새로운 기술을 활용하기 시작했습니다. Intel Optane PMem 모듈은 DRAM 비용의 약 절반으로 제공됩니다. Dell Technologies는 Intel Optane PMem이 제공하는 막대한 양의 대기 시간이 짧은 메모리 용량을 지원하는 서버를 보유하고 있습니다. Hazelcast는 애플리케이션이 이러한 기술을 대규모로 활용할 수 있도록 합니다. MemVerge는 Intel Optane PMem에 대한 모니터링, 관리 및 데이터 서비스를 제공하고 DRAM API를 추상화하여 Intel Optane PMem을 기존 애플리케이션에 DRAM으로 표시하여 수정하거나 재설계하지 않고 실행할 수 있도록 합니다.
다른 모든 것이 동일하다면 기업은 실시간 활동과 일괄 활동을 선택할 것입니다. 그러나 모든 것이 동일하지 않기 때문에 일괄 처리는 종종 실시간 처리와 관련된 비용을 피하기 위해 선택되는 패턴입니다. 그러나 점점 더 실시간 지향적인 세상에서 고객의 기대치가 계속 높아짐에 따라 기업은 경쟁 우위를 창출할 수 있는 새로운 방법을 찾아야 합니다. 인메모리 컴퓨팅의 기존 비용을 들이지 않고 실시간 속도를 활용함으로써 선두 기업은 Intel Optane PMem, MemVerge 및 Hazelcast와 같은 기술로 도약하여 자신과 고객의 요구에 대응하는 데 도움이 되는 솔루션을 구축할 수 있습니다. , 그 어느 때보다 빠르게.
이 보고서는 MemVerge가 후원합니다. 이 보고서에 표현된 모든 견해와 의견은 고려 중인 제품에 대한 우리의 공정한 견해를 기반으로 합니다. 인텔, 인텔 로고 및 인텔 Optane은 인텔사 또는 그 자회사의 상표입니다.
StorageReview에 참여
뉴스레터 | 유튜브 | 팟캐스트 iTunes/스포티 파이 | 인스타그램 | 트위터 | 페이스북 | 틱톡 서비스 | RSS 피드
