Dell PowerEdge XE9680 검토: 지금까지 테스트한 서버 중에서 가장 좋아하는 서버

우리는 일반적으로 전체 그림을 그리고 리뷰를 완료하기 위해 기사가 끝날 때까지 기다립니다. 그러나 Dell PowerEdge XE9680은 이 긍정적인 리뷰와 함께 우리의 흥분을 공유하기를 기다릴 수 없는 흥미로운 하드웨어를 제공합니다. Dell의 디자인은 AI의 요구 사항을 중심으로 6U 폼 팩터에서 엄청난 양의 컴퓨팅 성능을 제공합니다. XE9680에 대한 Dell의 Intel 및 NVIDIA와의 파트너십 덕분에 그들은 강력할 뿐만 아니라 매우 효율적인 제품을 내놓았습니다.

상단에 방열판이 있는 Dell PowerEdge XE9680

델 파워에지 XE9680

그 사양은 인상적입니다. 4개의 56세대 Intel Xeon Scalable 프로세서, 각각 2개의 코어 및 5TB의 DDR100 램은 AI 가속기용 CPU 백본을 제공합니다. 그런 다음 SXM에 연결되고 NVLink를 통해 함께 연결되는 100개의 NVIDIA HGX HXNUMX 또는 AXNUMX GPU를 추가하면 서버가 가장 큰 모델 및 데이터 워크로드를 처리할 수 있습니다.

델 파워에지 XE9680 RAM

대용량 RAM 볼륨(최대 9680TB)을 위한 PowerEdge XE4의 용량은 AI 워크로드 처리에서 상당한 경쟁 우위를 제공합니다. 이러한 큰 메모리 풋프린트는 더 복잡한 모델의 훈련을 가능하게 하여 더 높은 성능과 더 정확한 결과로 이어집니다.

구성에는 전면에 8x U.2 NVMe SSD 베이가 포함됩니다. 하지만 우리가 R660, Dell은 3x E16.S SSD와 함께 E3.S 백플레인도 제공할 예정입니다. 서버는 서버 후면의 NVMe BOSS-N1 부팅 드라이브 리그도 지원합니다.

단순한 힘 그 이상입니다.

PowerEdge XE9680은 단지 성능에 관한 것이 아닙니다. 또한 보안과 관리 용이성을 우선시합니다. 암호화 서명된 펌웨어, 유휴 데이터 암호화 및 보안 부팅과 같은 기능을 통해 서버는 데이터를 항상 보호합니다. 내장형 iDRAC9 시스템은 사용하기 쉬운 관리 인터페이스를 제공하여 서버를 간단하고 번거로움 없이 관리할 수 있는 다양한 도구와 통합을 제공합니다.

우리는 서버에서 OS 설치(나중에 자세히 설명)를 전환하려고 할 때 이 시스템을 테스트했으며 몇 번의 클릭만으로 iDRAC의 암호화 지우기 기능을 사용하여 깨끗한 시스템으로 시작하는 것이 더 간단했습니다. 작업할 수 있습니다.

H9680 카드가 있는 XE100의 nvidia-smi

이전에 Dell의 백서를 살펴보았습니다. Lambda에서 설정한 이미지 생성 대기 시간 벤치마크와 비교했을 때 XE9680 및 Dell PowerEdge XE9680 서버의 성능. 서버는 약 두 배의 처리량을 제공했으며 이는 PowerEdge XE9680의 성능과 효율성을 입증합니다.

MLPerf 점수 XE9680 A100 및 H100 서버와 함께 실습 시간을 활용하기 위해 미세 두 시스템으로 Meta의 LLaMa를 조정합니다. 이를 위해 우리는 4x A100 시스템을 사용하여 달성한 Stanford의 Alpaca 교육 단계를 따랐습니다.

델 XE9680

XE9680에서 알파카 훈련

이 프로젝트에 도움을 주신 NVIDIA와 Dell 팀에 감사드립니다. 이것은 하드웨어 및 소프트웨어 관점에서 볼 때 두 회사의 업계 전문가의 지도가 없었다면 훨씬 더 오래 걸리고 집중적인 프로세스가 되었을 최첨단 기술입니다.

A100 시스템에서 Stanford Alpaca Git Hub에 설명된 프로세스를 사용하여 Alpaca 체크포인트를 생성하는 단계를 재현하여 평균 약 90분의 세 에포크 훈련을 완료할 수 있습니다.

H100 시스템으로 이동하면서 실행당 약 70분만에 실행이 완료되는 개선을 확인했습니다. 이러한 시스템의 높은 수요와 제한된 특성으로 인해 우리는 가능한 성능 개선을 탐색하기 위해 코드 자체를 조정할 기회가 없었으며 개선과 개발에 전념하는 시간을 통해 엔터프라이즈 팀이 빠른 전환을 달성할 수 있음이 분명했습니다. 미세 조정 시간.

공식 비공식

A100 맛의 XE9680에서 우리는 틀에 얽매이지 않고 매우 비정통적인 테스트를 할 수 있는 기회를 가졌습니다. 시스템에 Windows Server 2022를 설치했습니다! 여기에는 Linux 설치를 제거하기 위한 일부 iDRAC 드라이브 지우기, Intel 네트워크 드라이버를 사이드로드하기 위한 iDRAC .iso 파일 및 가상 미디어의 일부 트릭, 그리고 거기에서 시작되었습니다. 비슷한 Dell PowerEdge 시스템의 칩셋 드라이브와 공식 NVIDIA A100 드라이버를 사용합니다.

시스템이 작동하고 문제 없이 안정적입니다. 그러나 이는 Dell이 공식적으로 지원하지 않는 매우 특이한 사용 사례입니다. 그래서 우리는 새로운 Windows 설치와 시중 최고의 GPU XNUMX개로 무장했습니다. 우리가 가장 잘하는 것, 벤치마크 파이!

100개의 NVIDIA AXNUMX 카드는 어떠한 조정 없이도 GPU-Pi 세계 기록을 쉽게 깨뜨렸으며 Xeon Platinum CPU는 y-cruncher와 Cinebench 모두에서 엄청난 수치를 기록했습니다. 우리는 다른 표준 CPU/GPU 벤치마크 중 일부가 작동할 것이라는 희망이 거의 없는 상태에서 몇 가지를 시도했고 예상대로 성공적인 실행을 방해하는 소프트웨어/인코더 문제에 부딪쳤습니다. 예를 들어 Procyon은 테스트에 사용할 수 있는 Tensor GPU가 있다는 사실조차 이해하지 못했습니다.

다시 말하지만 이것은 단순히 지원되지 않는 구성에 대한 테스트였으며 모든 것이 제대로 작동한다는 사실은 인상적이며 플랫폼 간에 일관된 하드웨어를 생산하는 Dell의 능력에 대한 증거입니다. 프로덕션 환경에서 이러한 유형의 시스템에서 Windows Server를 사용하는 것은 현명하지 않습니다.

Test	결과
시네벤치 멀티	90,710
시네벤치 싱글	174
CB MP 배급	77.24

긱벤치 6 GPU	197,669
긱벤치 6 싱글	1,678
긱벤치6 멀티	16,425

괴물:	분당 855.080461 샘플
정크샵:	분당 546.636998 샘플
교실:	분당 394.441850 샘플

GPU Pi 3.2 1억	0.394 (초)
GPU Pi 3.3 1억	0.317 (초)

이러한 인상적인 성능이 단순히 속도로 해석되는 것이 아니라 AI의 실제 적용에도 영향을 미친다는 점은 주목할 가치가 있습니다. 더 빠른 재교육 및 미세 조정 능력을 통해 기업은 민첩성을 크게 향상하여 시장 변화, 고객 요구 및 내부 요구 사항에 신속하게 대응할 수 있습니다. 예를 들어, 디자인 팀은 개념을 실시간으로 평가 및 개선하여 시장 출시 시간을 크게 단축하거나 규정 준수 팀은 보조 유형 LLM에 대한 최신 정책 및 절차로 업데이트된 모델을 지속적으로 교육하고 미세 조정할 수 있습니다.

제너레이티브 AI를 사용한 운영 혁신

Dell PowerEdge XE9680은 여러 산업 운영을 변화시키는 생성적 AI를 촉진할 수 있습니다. AI가 고객 선호도를 기반으로 다양한 제품 구성 또는 색상 옵션의 사실적인 이미지를 신속하게 생성할 수 있는 소매 시나리오 또는 계획 및 판매 프레젠테이션을 위해 새 건물의 시각화를 생성하는 건설 비즈니스를 상상해 보십시오. 가능성은 매혹적입니다.

Dell PowerEdge XE9680은 강력한 성능, 효율성 및 다용성의 환상적인 조합을 제공합니다. 까다로운 AI 워크로드를 손쉽게 처리할 수 있는 고성능 서버입니다. 또한 AI 워크로드를 처리하도록 특별히 설계되었지만 그 기능은 다른 애플리케이션에 유용할 가능성을 제공합니다.

다음을 통해 조직이 AI 프로젝트를 실행하도록 지원하겠다는 Dell의 약속과 함께 프로젝트 나선, PowerEdge XE9680은 흥미진진한 제안이자 우리가 올해 본 최고의 하드웨어 혁신 중 하나입니다. 강력한 성능, 세련된 기교 및 엔터프라이즈급 수명 주기 관리 기능을 제공하는 Dell PowerEdge XE9680이 엔터프라이즈 서버에서 빠른 속도로 인기를 얻고 있는 것은 놀라운 일이 아닙니다.