EchoStreams GridStreams는 고성능 데이터 센터 및 Open Computing Alliance 클라우드 서비스 공급자를 위해 설계된 2U, 고밀도 쿼드 노드 서버 플랫폼입니다. 2600개의 노드 각각에는 단일 또는 이중 Intel Xeon 7 프로세서를 지원하는 절반 너비 마더보드가 있으며 마더보드 구성에 따라 2.5개 또는 12개의 PCIe 확장 슬롯을 위한 공간이 있습니다. GridStreams는 중앙에 XNUMX개의 XNUMXmm XNUMX" 드라이브 베이 뱅크를 제공하며 컴퓨팅 노드에서 각각 XNUMX개씩 공유하도록 설계되었습니다. 데이터 센터용으로 구성되어 섀시 전면에서 서비스 가능한 노드와 드라이브 베이, 둘 다 핫 스왑 가능합니다. . 랙이 서버 섀시에 XNUMXVDC와 냉각 공기 흐름을 모두 제공하는 새로운 데이터 센터 환경에서 교체할 수 있도록 설계된 섀시 후면에는 팬과 전원만 있습니다.
EchoStreams GridStreams는 고성능 데이터 센터 및 Open Computing Alliance 클라우드 서비스 공급자를 위해 설계된 2U, 고밀도 쿼드 노드 서버 플랫폼입니다. 2600개의 노드 각각에는 단일 또는 이중 Intel Xeon 7 프로세서를 지원하는 절반 너비 마더보드와 마더보드 구성에 따라 2.5개 또는 12개의 PCIe 확장 슬롯을 위한 공간이 있습니다. GridStreams는 중간에 XNUMX개의 XNUMXmm XNUMX" 드라이브 베이 뱅크를 제공하며 컴퓨팅 노드에서 각각 XNUMX개씩 공유하도록 설계되었습니다. 데이터 센터용으로 구성되어 섀시 전면에서 서비스 가능한 노드와 드라이브 베이, 둘 다 핫 스왑 가능합니다. . 랙이 서버 섀시에 XNUMXVDC와 냉각 공기 흐름을 모두 제공하는 새로운 데이터 센터 환경에서 교체할 수 있도록 설계된 섀시 후면에는 팬과 전원만 있습니다.
GridStreams는 StorageReview 테스트 랩 테스트를 위한 핵심 구성 요소로 고성능 올플래시 스토리지 어레이 우리의 새로운 데이터베이스 및 소프트웨어 응용 프로그램 테스트 환경에서. 컴퓨팅 밀도가 높은 2U 쿼드 노드 시스템은 향후 애플리케이션 테스트에서 고급 스토리지 장치에 효과적으로 스트레스를 주는 데 필요한 시스템 리소스를 제공합니다. 합성 벤치마크는 실행하는 데 (상대적으로 말해서) 많은 시스템 리소스가 필요하지 않으며 합성 워크로드에서 1-2MM IOPS를 생성하는 경우에도 단일 이중 CPU 서버에 포함될 수 있습니다. 실제 애플리케이션의 I/O 양을 소비하려면 기하급수적으로 더 많은 리소스가 필요하므로 단일 서버에 포함될 수 있는 것보다 더 많은 CPU 코어와 RAM이 필요합니다. StorageReview Test Lab에서 이러한 부하를 복제하기 위해 우리는 XNUMX노드 EchoStreams GridStreams를 비롯한 다양한 시스템 및 구성을 사용하여 최신 애플리케이션 벤치마크를 실행하는 데 필요한 컴퓨팅 밀도가 높은 리소스를 제공합니다.
EchoStreams GridStreams 사양
- 섀시 높이: 2U
- 컴퓨팅 노드: 4
- 마더보드: 절반 너비 최대 18" 깊이
- 칩셋: 인텔 C602
- 프로세서(노드당)
- 구성: 2 x Intel E5-2640(2.5Ghz, 15MB 캐시, 6코어)
- 지원: Intel 소켓 2 / Xeon E2011-5 제품군 2600개
- 메모리(노드당)
- 구성: 128GB(16 x 8GB)
- 총 슬롯: 16개(CPU당 4채널, CPU당 8개 DIMM)
- 최대 512GB RDIMM/최대 128GB UDIMM
- 스토리지(노드당)
- 구성: 2GB Micron RealSSD P100e 400개
- 2 x 2.5" 7mm 하드 드라이브 또는 SSD
- SATA 2Gb/s 6.0개
- I/O 확장(노드당)
- 구성됨: Mellanox ConnectX-3 QDR 인피니밴드 56Gb/초 NIC
- 1 x PCIe x16(Gen3 x16 링크)
- 전원 공급 장치(노드당): 400W 오픈 프레임 PSU
- 섀시 냉각: 핫스왑 4mm 팬 80개
- 전면 패널(노드당)
- LED가 있는 전원 스위치
- LED가 있는 위치 찾기 스위치
- 리셋 스위치
- 시스템 경고 LED
- 온보드 연결(노드당)
- 인텔 서버급 GbE LAN 2개
- iKVM을 지원하는 관리 LAN 1개
- 옵션 온보드 단일 포트 Mellanox ConnectX-3 QDR InfiniBand
하드웨어 옵션
EchoStreams GridStreams 쿼드 노드 서버는 상용 하드웨어를 기반으로 합니다. 즉, 하드웨어 옵션은 구매자의 요구에 따라 달라질 수 있습니다. StorageReview와 함께 제공된 시스템은 온보드 SAS 및 SATA에서 이더넷 및 선택적 온보드 InfiniBand에 이르기까지 다양한 연결 옵션을 제공합니다. 각 노드는 단일 및 이중 프로세서 구성을 지원하며 현재 EchoStreams는 Intel Xeon E5-2600 프로세서를 지원합니다.
GridStreams 섀시 내부에 로컬 스토리지가 프로비저닝되는 방식은 노드별로 이루어집니다. 각 노드는 소켓 커넥터를 통해 전면에 있는 7개의 1mm SSD/HDD 베이 중 XNUMX개에 연결됩니다. 각 노드는 기본적으로 독립적이며 서비스가 필요한 경우 신속하게 연결을 끊고 빼낼 수 있습니다. 통합 RAID는 드라이브 오류에 대처하기 위해 두 개의 하드 드라이브 또는 SSD에 대한 RAIDXNUMX 구성을 허용하는 옵션이기도 합니다. 저희 연구실에서는 두 가지를 활용합니다. 마이크론 P400e SSD 중복성 없이 다중 OS 환경의 각 컴퓨팅 노드에 대해. 하나의 SSD는 CentOS 6.3 및 다른 Windows Server 2012로 노드를 부팅합니다.
우리 연구소의 고유한 요구 사항을 충족하기 위해 우리는 자체적으로 Mellanox ConnectX-3 InfiniBand NIC 각 노드에서 단일 PCIe 3.0 슬롯을 차지합니다. InfiniBand는 최신 애플리케이션 벤치마크에 필요한 높은 처리량과 낮은 대기 시간 특성 때문에 특별히 선택되었습니다. 고객이 요청하는 경우 각 마더보드에 온보드 Mellanox ConnectX-3 QDR 인터페이스를 장착하여 단일 PCIe 슬롯을 다른 용도로 사용할 수 있습니다. 이것은 각 시스템에 상당한 유연성을 제공하고 최종 사용자가 각 노드를 최대한 활용할 수 있도록 합니다.
모니터링 및 관리
각 노드에는 iKVM 인터페이스를 통한 온보드 관리를 위한 전용 이더넷 포트가 포함되어 있습니다. iKVM은 콘솔 리디렉션 및 원격 드라이브 호스팅을 지원하므로 관리자가 시스템에 직접 연결하지 않고도 원격으로 시스템을 설정하거나 진단할 수 있습니다. GridStreams iKVM 인터페이스는 각 노드의 초기 설정에서 광범위하게 사용되어 테스트 랩에서 플랫폼을 신속하게 온라인 상태로 만들었습니다.
포함된 관리 소프트웨어는 또한 원격 전원 제어를 지원하고 사용자에게 두 번째 열, 전원 및 냉각 정보를 제공합니다. 사용자는 한 눈에 PSU 전압 리드, 팬 속도, 마더보드 및 CPU 온도를 확인할 수 있습니다. 이러한 각 센서는 또한 기록할 수 있으므로 시스템이 해당 환경에 적절하게 장착되었는지 확인하기 위해 조건이 유휴에서 과부하까지 어떻게 변하는지 모니터링할 수 있는 기회를 제공합니다.
설계 및 구축
EchoStreams GridStreams의 고유한 디자인은 후면이 아닌 섀시 전면에 마더보드와 I/O 연결을 배치하여 이 레이아웃을 위해 설계된 데이터 센터에서 더 큰 유연성을 제공합니다. StorageReview 연구소에는 기존의 랙 마운트 환경이 있지만 우리는 GridStreams를 우리 중 하나의 슬롯을 통해 라우팅된 케이블과 통합할 수 있었습니다. Eaton S 시리즈 랙. 온보드 네트워크 연결을 위해 노드에는 1개의 Intel 1GbE 포트와 iKVM 관리 전용의 또 다른 XNUMXGbE 포트가 포함됩니다. 또한 전면 액세스 패널에는 단일 QSFP InfiniBand 포트용 컷아웃이 있으며, 이 옵션 애드온이 장착된 마더보드에서 찾을 수 있습니다.
GridStreams 서버의 보다 독특한 디자인 측면 중 하나는 섀시 전면에 있는 핫스왑 드라이브 장치입니다. 많은 컴퓨팅 노드에는 노드 내에 이중 스토리지 베이가 내장되어 있지만 EchoStreams는 다른 경로를 택했습니다. GridStreams 섀시에서 각 노드는 일반적으로 중복 시스템 드라이브용으로 RAID1에 구성된 XNUMX개의 베이에 직접 액세스할 수 있습니다. 우리의 구성은 마이크론의 100GB RealSSD P400e SSD CentOS 6.3 및 Windows Server 2012 부팅 드라이브용.
EchoStreams GridStreams는 마더보드와 PCIe 인터페이스를 한 번의 빠른 동작으로 제거하기 위해 쉽게 밀어낼 수 있는 트레이에 장착된 각 노드와 함께 프로덕션 환경에서 쉽게 서비스할 수 있도록 설계되었습니다. 각 트레이는 퀵 릴리스 전원 및 데이터 연결을 사용하여 섀시와 인터페이스합니다. 이 설계를 통해 사용자는 전체 시스템을 랙 밖으로 끌어내지 않고도 쉽게 관리할 수 있는 청크로 랙 환경 외부에서 새로운 하드웨어를 설정하거나 개별 노드를 서비스할 수 있습니다.
EchoStreams는 레일을 랙에 쉽게 장착하고 시스템을 제자리에 밀어 넣을 수 있는 빠른 연결 장치를 활용하는 GridStreams 서버에 슬라이딩 레일을 제공합니다. 랙 환경에 서버를 장착한 후 레일을 약간 확장할 수 있었지만 섀시를 완전히 제거하지 않고는 전체 섀시를 서비스할 수 있도록 완전히 확장되지 않았습니다. 전면 장착 노드 액세스 및 후면 장착 팬 액세스를 고려할 때 사용자가 랙에서 전체 섀시를 제거해야 하는 유일한 시간은 전원 공급 장치 오류가 발생한 경우입니다.
냉각
EchoStreams GridStreams는 섀시 후면에 위치한 80개의 100mm 팬을 통합하는 고유한 전후방 냉각 설계를 제공합니다. 이 XNUMX개의 팬은 GridStreams에 대한 유일한 냉각 및 공기 흐름을 제공합니다. PCIe 카드와 SSD 또는 하드 드라이브에 차가운 공기를 먼저, 프로세서를 그다음으로, 전원 공급 장치를 마지막으로 끌어옵니다. 팬 속도는 각 노드에서 제어하여 프로필을 제한하거나 팬을 최대 속도로 잠글 수 있습니다. 지속적인 실험실 사용을 위해 모든 테스트에서 팬을 XNUMX%로 유지합니다. 전원과 냉각을 모두 제공하는 Open Compute 랙에서는 랙이 GridStreams 섀시에 냉각을 제공할 수 있도록 섀시에서 팬을 제거할 수 있습니다. XNUMX개의 팬은 각각 현장에서 교체할 수 있어 장기적인 유지 관리 요구 사항에 대처할 수 있습니다. 고장난 팬 장치를 제거하려면 손으로 조인 손잡이로 고정 나사 XNUMX개를 풀고 섀시 뒤쪽에서 장치를 당깁니다. 각 팬에는 신속하게 전원 연결을 해제할 수 있으므로 새 냉각 팬을 제거하거나 삽입할 때 전선을 어지럽힐 필요가 없습니다.
평균 랩 온도 25.8C로 테스트한 결과 각 노드는 42C/45C(전면/후면)의 CPU 온도에서 유휴 상태였으며 부하 시에는 68C/90C로 증가했습니다. 실험실이 EchoStreams GridStreams의 상한 작동 온도 한계까지 워밍업할 수 있도록 주변 랙 온도가 47C인 상태에서 51C/74C 유휴 상태 및 90C/31C 부하 상태에서 각 노드를 측정했습니다.
출력
GridStream은 100-240V 소스 또는 저전압 랙 전원 센터가 장착된 개방형 컴퓨팅 데이터 센터의 일반 12VDC에서 전원을 끌 수 있습니다. 당사의 시스템은 노드 전체에서 중복되지 않는 400개의 고효율 100와트 240-12v 전원 공급 장치를 갖추고 있습니다. 즉, 각 노드에는 자체 전원 연결이 있으며 하나의 전원 공급 장치에 오류가 발생하면 해당 특정 노드에 전원을 공급하는 전원 공급 장치가 다운됩니다. 더 높은 수준의 효율성 또는 전원 이중화를 원하는 고객은 여러 GridStreams 서버를 지원하는 EchoStreams 1VDC 랙 전원 센터 중 하나로 전환할 수 있습니다. RPC는 수요에 적응하는 자동 확장 내부 N+XNUMX 전원 노드를 제공하여 효율성을 극대화하는 상태에서 시스템 로드를 유지하기 위해 전원을 켜거나 끕니다.
8GB DDR3 RDIMM 5개, Intel Xeon E2640-3 CPU 98개, Mellanox ConnectX-232 InfiniBand NIC XNUMX개를 사용하여 구성된 노드를 사용한 테스트에서 유휴 전력 소비량은 XNUMXW로 측정되었으며, 이튼 어드밴스드 ePDU. 유휴 상태에서 역률은 0.93으로 측정되었으며 부하 상태에서는 0.97로 증가했습니다.
결론
EchoStreams GridStreams 쿼드 노드 2U 컴퓨팅 플랫폼은 최상의 사례 애플리케이션 성능을 구동하기 위해 점차 다재다능한 컴퓨팅 솔루션이 필요한 더 큰 애플리케이션 기반 테스트로 확장함에 따라 중요한 시기에 StorageReview 랩에 합류합니다. GridStreams는 물론 성능 문제뿐만 아니라 Open Computing Alliance 회원을 위한 밀도 및 특수 요구 사항도 해결합니다. 전면에 장착된 I/O 포트와 함께 인클로저 및 블레이드의 서비스 용이성은 GridStreams를 기존 서버 제공업체에서 사용할 수 있는 옵션이 거의 없는 클라우드 서비스 제공업체에게 이상적인 솔루션으로 만듭니다. 또한 EchoStreams는 플랫폼을 계속 발전시켜 궁극적으로 대규모 데이터 센터에서 이러한 작업을 처리하는 스마트 랙으로 병합되는 팬과 전원 공급 장치를 제거할 계획입니다.
우리의 목적은 대규모 데이터 센터의 목표보다 약간 덜 야심적이지만 더 적당한 규모에서 실제 컴퓨팅 및 스토리지 환경을 시뮬레이션할 수 있는 것은 적절한 테스트 및 평가에 매우 중요합니다. 이를 위해 GridStreams 솔루션은 실험실의 귀중한 부분이 됩니다. 스토리지 및 전체 에코시스템과 관련하여 테스트 범위를 계속 확장하고 있기 때문입니다.
