Dell PowerEdge XE9680 – 궁극의 AI 파워하우스

Dell PowerEdge XE9680은 엔터프라이즈 컴퓨팅의 혁신을 입증하는 제품으로, 고객에게 최고의 GPU 유연성을 제공합니다.

PowerEdge XE9680은 Dell의 가장 다재다능한 AI 인프라 플랫폼을 대표합니다. PowerEdge R760 스타일 2U 컴퓨트 노드와 거대한 4U GPU 드로어를 결합합니다. 이 혁신적인 6U 디자인은 Dell의 엔터프라이즈 서버 엔지니어링의 최고와 전례 없는 GPU 밀도 및 유연성을 결합합니다.

XE9680은 핵심적으로 듀얼 Intel Xeon Scalable 프로세서를 지원하여 CPU당 최대 5개 코어를 갖춘 64세대 또는 최대 4개 코어를 갖춘 56세대 중에서 선택할 수 있습니다. 메모리 용량은 상당하여 4개 DIMM 슬롯에서 최대 5TB의 DDR32 메모리를 지원하고 최신 프로세서로 최대 5600MT/s로 실행됩니다.

XE9680을 진정으로 차별화하는 것은 GPU 기능입니다. 이 플랫폼은 200개의 고성능 GPU를 지원합니다. 사용 가능한 구성에는 NVIDIA의 HGX H141(100GB) 및 H80(300GB), AMD의 Instinct MI192X(3GB), Intel의 Gaudi128(XNUMXGB)가 있습니다. 새롭게 출시된 XE9680L 이 변형 제품은 NVIDIA의 차세대 B200 GPU와 직접 액체 냉각을 지원하여 밀도와 성능의 한계를 넓혔습니다.

스토리지 구성도 마찬가지로 유연하여 8개의 2.5인치 NVMe/SAS/SATA 드라이브 또는 16개의 E3.S NVMe 드라이브를 제공합니다. 이 시스템은 Dell의 H965i NVMe PERC RAID 카드를 장착하여 추론 워크로드 중에 대규모 KV 캐시에 중요한 스토리지 중복성을 간소화할 수 있습니다.

전력 공급은 최대의 안정성을 위해 설계되었습니다. 총 19200W의 3개 전원 공급 장치가 3+XNUMX FTR(Fault-tolerant Redundant) 배열로 구성됩니다. XNUMX개 이상의 PSU가 고장나면 시스템은 종료되지 않고 FTR(Fault-tolerant Redundant) 모드로 전환됩니다. 이 모드에서 GPU 전원 브레이크가 작동하여 GPU 클럭을 XNUMX/XNUMX로 제한하여 일반적인 GPU 성능의 약 XNUMX/XNUMX로 줄입니다.

이러한 사려 깊은 디자인 선택은 수백 또는 수천 개의 GPU가 함께 작동하는 대규모 교육 환경에서 매우 귀중합니다. 노드가 완전히 오프라인이 되는 대신(다른 노드에서 교육 반복을 재조정하고 반복해야 함) 시스템은 다음 유지 관리 창까지 성능이 저하된 상태로 계속 작동할 수 있습니다. 전원 관리에 대한 이러한 세부 사항에 대한 관심은 중단을 최소화하여 높은 모델 교육 처리량(MFU)을 유지하는 데 도움이 됩니다.

확장 기능은 광범위하며, 최대 10개의 PCIe Gen5 x16 전체 높이, 절반 길이 슬롯이 있으며, 그 중 75개는 XNUMXW 이상의 고전력 카드를 지원합니다. 이러한 풍부한 PCIe 연결은 최신 AI 인프라를 구축하는 데 필수적인 DPU 및 SmartNIC를 포함한 다양한 네트워킹 구성을 가능하게 합니다.

전체 사양:

Dell PowerEdge XE9680 빌드 및 디자인

PowerEdge XE9680은 높이 10.36인치(263.20mm), 너비 18.97인치(482.00mm), 베젤을 부착한 깊이 39.71인치(1008.77mm)의 인상적인 하드웨어입니다. 완전히 로드된 무게는 251.44파운드(114.05kg)입니다. GPU 선택은 무게에 대한 최종 결정권을 가지며, NVIDIA H100/H200 모델은 238파운드이고 AMD MI300X 유닛은 251파운드입니다.

이것은 우리의 테스트 환경에 적절하게 로드하기 위해 신중하게 생각해야 했던 첫 번째 서버였습니다. 서버 무게와 하드웨어를 랙에 올려야 하는 사람의 수를 고려하면 경계를 벗어날 수 있는 여유가 있지만 어느 시점에서는 한두 사람이 혼자서 들어올리지 않습니다. Dell은 이 플랫폼이 어떻게 들어맞는지 이해하는 데 도움이 되는 "리프트 테이블"을 친절히 제공합니다. 궁금해하는 모든 사람들을 위해, Kevin은 XE9680을 직접 랙에 장착했습니다..

복잡하고 전문 서비스 기술자에 대한 Dell의 권장에도 불구하고 XE9680은 놀라울 정도로 사용자 친화적인 서비스 요소를 갖추고 있습니다. 서버 패널에는 자세한 서비스 지침과 명확한 그래픽이 포함되어 있어 숙련된 IT 직원이 유지 관리 절차를 놀라울 정도로 쉽게 수행할 수 있습니다. 이러한 시각적 가이드는 시스템을 직접 사용하는 동안 매우 귀중한 것으로 입증되어 다양한 구성 요소를 자신 있게 서비스할 수 있었습니다.

PowerEdge XE9680의 커버를 열고, 위쪽의 작은 변전소에서 나온 수많은 전원 케이블을 지나면 PowerEdge R760과 매우 흡사해 보입니다. 저희 장치는 각각 8468Ghz에서 48개의 코어를 갖춘 두 개의 Intel Xeon Platinum 2.1 프로세서로 구동되었습니다. 각 프로세서는 80개의 PCIe 레인을 제공하며, 이 레인은 이 장치에서 꽤 많은 PCIe 스위치를 거쳐 XE9680에 로드된 GPU, NIC 및 기타 하드웨어를 지원합니다.

가장 인상적인 엔지니어링 기능 중 하나는 PCIe 스위치 보드(PSB) 설계입니다. 이 보드는 최대 10개의 추가 전체 높이, 절반 길이 PCIe 카드(그 중 75개는 XNUMXW 전력 소모를 초과할 수 있음)에 대한 연결을 제공하고 GPU 베이스보드와 직접 통합됩니다. 이 직접 통합은 GPU 직접 기술을 지원하여 SSD와 네트워크 카드가 GPU와 직접 통신하여 CPU를 우회하고 I/O 집약적 AI 워크로드의 대기 시간을 줄일 수 있습니다.

각 확장 슬롯은 레이아웃의 가장 왼쪽과 오른쪽에 있는 두 개의 하단 슬롯을 포함하여 전체 PCIe Gen5 x16 인터페이스를 지원합니다. 위쪽 9680개 슬롯은 자체 PSB를 통해 연결되는 반면, 아래쪽 3개 슬롯은 PCIe Base Board(PBB)에 직접 연결됩니다. 이 두 슬롯은 고전력 드로우 카드도 지원합니다. 또한 PCIe 레이아웃은 PowerEdge XEXNUMX에 선택한 GPU 유형에 따라 약간씩 다릅니다. AMD 장착 모델은 SmartNIC/DPU를 지원하지 않으며 Intel GaudiXNUMX 모델은 공기 흐름 문제로 인해 두 개의 슬롯이 차단되었습니다.

냉각은 Dell의 엔지니어링 전문성이 빛나는 또 다른 분야입니다. 이 시스템은 최대 16개의 고성능 골드 등급 팬을 사용합니다. 중간 트레이에 9680개, 후면에 10개입니다. PowerEdge XE35은 주변 온도가 30~3C(Intel Gaudi1,200 GPU의 경우 XNUMXC)인 광범위한 설치 시나리오를 지원합니다. 최대 기울기 상태에서 서버는 인상적인 XNUMXCFM을 핫 아일로 이동합니다.

이 견고한 냉각 솔루션은 AMD MI300X, Intel Gaudi3 또는 NVIDIA H100 GPU를 포함하여 가장 까다로운 열 부하도 처리하면서 최적의 작동 온도를 유지합니다. PowerEdge XE9680은 소음 출력 측면에서 부하 시 상당히 울립니다. Dell은 다양한 상황에서 XE9680에 대한 전체 음향 사양 시트를 제공하지만 부하 시 큰 플랫폼이 될 것이라고 말하기는 매우 쉽습니다.

XE9680의 관리 기능은 포괄적인 서버 수명 주기 관리 및 모니터링을 제공하는 Dell의 엔터프라이즈 검증 iDRAC9를 기반으로 구축되었습니다. 이 iDRAC 반복은 자세한 GPU 원격 측정, 전력 소비 분석 및 고밀도 AI 워크로드를 위해 설계된 광범위한 열 모니터링을 포함하여 여러 가지 AI 최적화 기능을 제공합니다.

이 플랫폼의 관리 스택은 AI 인프라 구축에 특히 주목할 만합니다. Redfish를 지원하는 iDRAC9의 RESTful API를 통해 조직은 GPU 사용률, 메모리 대역폭 및 열 조건을 프로그래밍 방식으로 모니터링하고 관리할 수 있습니다. 이는 최적의 AI 교육 및 추론 성능을 유지하는 데 중요한 지표입니다. 이 시스템은 OpenManage Enterprise와 통합되어 통합 콘솔을 통해 여러 XE9680을 함대 전체에서 관리할 수 있으며, 이는 대규모 AI 클러스터에 필수적입니다.

보안 및 규정 준수는 관리 아키텍처의 기본 요소입니다. 이 플랫폼은 Silicon Root of Trust 및 Secure Component Verification을 구현하여 부팅부터 운영까지 하드웨어 무결성을 보장합니다. 이러한 기능은 민감한 AI 워크로드를 실행하거나 독점 모델 가중치를 처리할 때 특히 유용합니다.

CloudIQ 통합으로 구동되는 예측적 장애 분석 기능은 머신 러닝을 사용하여 워크로드에 영향을 미치기 전에 잠재적인 하드웨어 문제를 예측합니다. 이러한 사전 예방적 접근 방식은 예상치 못한 다운타임으로 인해 며칠 동안 계산이 손실될 수 있는 장기 실행 AI 교육 작업에 특히 중요합니다. Dell의 ProSupport Plus 서비스와 결합하면 이 예측 기능은 자동 케이스 생성 및 부품 발송을 트리거하여 종종 시스템 저하가 발생하기 전에 예방적 유지 관리를 수행합니다.

기존 관리 도구와의 통합이 필요한 조직의 경우 XE9680은 ServiceNow 및 BMC TrueSight를 포함한 OpenManage 통합을 통해 다양한 관리 프레임워크를 지원하여 기존 IT 서비스 관리 워크플로에 원활하게 통합할 수 있습니다.

iDRAC9 인터페이스는 직관적인 대시보드를 통해 중요한 구성 요소에 대한 자세한 실시간 모니터링을 제공합니다. GPU 모니터링은 온도, 전력 소비, XNUMX개 가속기 전체의 사용률을 포함한 포괄적인 지표를 표시하여 AI 워크로드 분배를 최적화하는 데 필수적입니다.

스토리지 모니터링 인터페이스는 NVMe 어레이 전반의 드라이브 상태, 온도 및 성능 측정 항목에 대한 즉각적인 가시성을 제공합니다. 이는 특히 고처리량 추론 캐시와 학습 데이터 세트를 관리할 때 매우 유용합니다.

메모리, 스토리지 및 규모

Dell PowerEdge XE300 내부의 9680개 AMD MI192X GPU는 GPU 메모리 용량에서 상당한 도약을 나타내며, NVIDIA H3의 200GB에 비해 카드당 141GB의 HBM36 메모리를 제공합니다. 메모리 용량이 XNUMX% 증가한 것은 사양서에 있는 숫자일 뿐만 아니라 대규모 언어 모델 배포에 필수적입니다.

이 대규모 메모리 풀은 MI300X의 5.3TB/s 메모리 대역폭과 결합되어, 조직이 높은 처리량과 낮은 지연 시간을 유지하면서도 여러 GPU에서 작은 모델의 인스턴스를 실행하거나 더 큰 모델을 분할할 수 있게 해줍니다.

이를 관점에 맞게 설명하자면, BF3.1에서 405TB 이상의 VRAM이 필요한 Meta의 Llama 1 16B 모델은 양자화 및 전체 9680k 컨텍스트 길이 없이 MI300X GPU가 있는 단일 XE128에 편안하게 분산될 수 있습니다. 이를 통해 양자화 기술과 관련된 잠재적인 품질 손실이 제거되고 두 개의 서버에 모델을 분산하는 것에 비해 초당 토큰이 더 많아집니다.

저장 공간을 극대화하기 위해 다음을 사용했습니다. 솔리디즘 61.44TB 드라이브는 메모리에 대한 정교한 확장으로 사용되어 고속 GPU 메모리와 기존 스토리지 간의 격차를 메웁니다. SSD는 추론 중에 키-값 캐시 쌍을 저장하는 데 뛰어나며, 긴 컨텍스트 세대를 위해 GPU의 메모리 용량을 효과적으로 확장합니다. 방대한 용량과 NVMe 성능으로 인해 빠른 모델 가중치 액세스에 이상적이며 효율적인 모델 전환과 웜 스타트를 가능하게 합니다.

아래에 자세히 설명한 Metrum AI 배포와 같은 애플리케이션에서 SSD는 벡터 데이터베이스의 스토리지 백엔드 역할도 수행하여 실시간 유사성 검색에 필요한 성능을 제공하는 동시에 광범위한 임베딩 스토리지 용량을 유지합니다.

이러한 대용량 드라이브의 가치는 추론을 넘어 학습 워크플로까지 확장됩니다. 학습 배치를 대기열에 넣기 위한 이상적인 로컬 스토리지를 제공하여 데이터를 컴퓨팅 리소스에 더 가깝게 유지함으로써 네트워크 오버헤드를 줄입니다. 학습 중에 이러한 드라이브는 모델 체크포인트를 로컬에 저장하는 데 탁월하여 학습 진행 상황을 유지하고 빠른 복구를 가능하게 하는 데 중요합니다. 이 로컬 스토리지 전략은 또한 각 처리된 계층과 배치 후 즉각적인 네트워크 트래픽을 줄여 네트워크 활용도를 최적화하는 데 도움이 됩니다.

XE61.44의 9680개 베이에 걸친 XNUMXTB 용량이 유망하게 들리지만, 훨씬 더 많은 용량이 제공됩니다. Solidigm의 ​​새롭게 발표된 122.88TB 드라이브XE의 저장 밀도는 추가적인 학습 최적화와 더 긴 추론 캐시 수명을 위해 거의 1페타바이트까지 두 배로 늘릴 수 있습니다.

Metrum AI 의료 보조원 - 환자 치료 혁신

의료 분야는 시간이 많이 걸리는 환자 문서화 및 기록 관리를 관리하는 데 지속적으로 어려움을 겪고 있으며, 이는 종종 직접적인 환자 치료에 방해가 됩니다. AMD 가속기가 장착된 Dell PowerEdge XE9680 서버에 배포된 Metrum AI의 Healthcare Assistant는 고급 AI 인프라가 어떻게 의료 워크플로를 혁신하여 효율성을 높이고 환자 결과를 개선할 수 있는지 보여줍니다.

이 시스템은 의료 맥락을 이해하는 것으로 유명한 Llama 3.1 70B Instruct를 기본 언어 모델로 사용합니다. 이를 통해 복잡한 환자 데이터를 쉽게 처리할 수 있습니다. 이 언어 모델은 gte-v1.5 임베딩 모델 및 Milvus Vector DB와 페어링되어 의료 데이터 처리에 필수적인 자연어 처리 및 맥락적 이해를 위한 견고한 기반을 제공합니다.

Metrum AI의 Healthcare Assistant에는 조직병리학 이미지 분석을 위한 HistoGPT와 의사 노트의 실시간 필사를 위한 OpenAI의 Whisper를 통합한 멀티모달 접근 방식도 포함되어 있습니다. 이러한 모델을 함께 사용하면 임상 워크플로가 간소화되어 의사가 자연스럽게 말하는 동안 시스템이 환자 기록에 실시간으로 정보를 필사, 분류 및 통합할 수 있습니다.

Metrum AI는 개별 환자 데이터가 비교적 작을 수 있지만 트래픽이 많은 병원의 결합된 스토리지 요구 사항은 수백 테라바이트로 증가할 수 있다는 것을 인식합니다. Dell PowerEdge XE9680은 로컬 온보드 NVMe 스토리지로 이를 해결할 수 있습니다. 당사 구성은 PCIe Gen2.5 속도로 작동하는 2개의 4인치 U.9680 NVMe 스토리지 베이를 제공합니다. XEXNUMX을 테스트한 동안 61.44TB Soldigim D5-P5336 QLC SSD, 이 용량은 더욱 확장될 수 있습니다. Soldigim은 최근 새로운 D5-P5336 122.88TB QLC 모델이를 통해 동일한 성능을 유지하면서도 대용량 SSD의 용량을 두 배로 늘릴 수 있게 되었습니다.

Metrum은 다양한 시나리오에서 환자 데이터가 시간이 지남에 따라 어떻게 변환되는지에 대한 추정치를 제공했습니다. 이를 총 저장 용량으로 계산하면 가장 높은 용량의 SSD를 사용하여 단위가 얼마나 많은 추가 환자를 지원할 수 있는지 확인할 수 있습니다. 환자당 추정 데이터 풋프린트를 취하고 각 SSD의 사용 가능 용량(57TB SSD의 경우 61TB, 114TB SSD의 경우 122TB)과 비교하면 밀도가 높은 SSD를 사용하면 연간 서버에 저장할 수 있는 양이 의미 있게 크게 증가한다는 것을 알 수 있습니다.

초기 1년 추정치가 꽤 높아 보이지만 환자 데이터는 고정되어 있지 않다는 점에 유의하는 것이 중요합니다. 새로운 데이터가 수집되고 새로운 방문이 예약되어 스토리지 수요가 증가합니다. 여기서 스토리지가 의료 영상 분야에서 중요한 역할을 합니다. 추가 스토리지 용량은 솔루션이 효과적으로 지원할 수 있는 환자 수에 직접적인 영향을 미칩니다.

AMD MI9680X 가속기를 장착하고 Metrum AI의 Healthcare Assistant와 통합된 Dell PowerEdge XE300은 의료 서비스 제공자에게 확장 가능하고 효율적인 솔루션을 제공합니다. 시간이 많이 걸리는 작업을 자동화하고 중요한 통찰력에 대한 빠른 액세스를 가능하게 함으로써 이 설정은 임상의가 증가하는 수요를 관리하는 동시에 환자 치료에 더 집중할 수 있도록 합니다. 언어, 이미지 및 음성 모달리티에서 AI 구성 요소를 원활하게 통합함으로써 Healthcare Assistant는 AI 기반 의료 솔루션에서 상당한 진전을 나타내며 관리 부담을 줄이고 전반적인 환자 결과를 개선합니다.

결론

진화하는 엔터프라이즈 AI 환경에서 Dell PowerEdge XE9680은 새로운 표준을 제시하며, 특수 목적 하드웨어가 다양한 산업에 어떻게 혁명을 일으킬 수 있는지 보여줍니다. Metrum AI Healthcare Assistant 구현은 수많은 가능성 중 하나를 보여줍니다. 금융 기관이 실시간으로 복잡한 위험 분석 모델을 실행하거나 연구실이 방대한 데이터 세트를 처리하여 약물을 발견하는 것을 상상해보세요. 이 모든 것이 이 놀라운 시스템으로 구동됩니다.

XE9680은 NVIDIA의 H100부터 AMD의 MI300X, Intel의 Gaudi3까지 GPU 옵션에서 뛰어난 다양성을 제공합니다. 이러한 유연성은 견고한 메모리 용량, 스토리지 옵션, 혁신적인 냉각 솔루션과 결합되어 단순한 AI 서버 그 이상을 제공합니다. 데이터 센터든 의료 사무실이든 다양한 애플리케이션에서 가장 까다로운 워크로드를 처리할 수 있는 완벽한 엔터프라이즈 컴퓨팅 플랫폼입니다.

스토리지 관점에서 이 서버에는 NVMe 베이가 61.44개에 불과하지만 Solidigm 덕분에 5TB SSD를 사용하여 위에서 자세히 설명한 의료 보조원의 작업 공간으로 시스템에 거의 5336페타바이트를 넣을 수 있습니다. 그게 충분하지 않다면 Solidigm이 방금 D122.88-PXNUMX의 용량을 XNUMXTB로 두 배로 늘렸다고 발표했습니다. 즉, 이와 같은 시스템은 가속기 옆에 약 XNUMX페타바이트의 플래시 스토리지를 장착할 수 있어 효율적인 AI 워크로드를 수행할 수 있습니다.

Dell의 엔지니어링은 XE9680의 모든 측면에서 빛을 발합니다. 사려 깊은 전원 관리 기능부터 사용자 친화적인 서비스성까지. 이 플랫폼은 부분적인 전원 공급 장애 중에도 작동을 유지할 수 있는 능력으로, 시스템 안정성과 지속적인 작동이 가장 중요한 AI 요구 사항에 대한 Dell의 깊은 이해를 보여줍니다.

Dell의 포괄적인 지원 인프라와 다양한 이니셔티브를 통해 AI 역량을 발전시키려는 노력에 힘입어 PowerEdge XE9680은 엔터프라이즈 컴퓨팅의 혁신을 증명합니다. 원시 컴퓨팅 파워, 아키텍처 유연성, 엔터프라이즈급 안정성이 결합되어 2024년 최고상을 다시 수상했습니다.

메트럼 AI

Dell XE9680 제품 페이지

솔리드다임 스토리지

StorageReview에 참여

뉴스레터 | 유튜브 | 팟캐스트 iTunes/스포티 파이 | 인스타그램 | 트위터 | 틱톡 서비스 | RSS 피드

이 리뷰는 Kevin O'Brien과 Divyansh Jain이 공동으로 작성했습니다.