O Supermicro AS-4125GS-TNRT é um servidor GPU 4U refrigerado a ar que suporta duas CPUs AMD EPYC série 9004, PCIe Gen5 e 8 GPUs de largura dupla.
A Supermicro há muito oferece servidores GPU em mais formatos e tamanhos do que temos tempo para discutir nesta análise. Hoje, estamos analisando seu relativamente novo servidor GPU refrigerado a ar 4U que suporta duas CPUs AMD EPYC série 9004, PCIe Gen5 e uma opção de oito placas GPU adicionais de largura dupla ou 12 de largura única. Embora a Supermicro também ofereça variantes desses servidores baseadas em Intel, a família AS-4125GS-TNRT baseada em AMD são os únicos servidores nesta classe que suportam GPUs NVIDIA H100 e AMD Instinct Mi210.
O servidor GPU Supermicro AS-4125GS-TNRT tem alguns outros destaques de hardware, como rede 10GbE integrada, gerenciamento fora de banda, 9 slots FHFL PCIe Gen5, 24 baias de 2.5 ″, sendo quatro NVMe e o restante SATA/SAS. Existem também 4 fontes de alimentação redundantes de nível titânio de 2000 W. Na placa-mãe, há um único slot M.2 NVMe para inicialização.
Antes de avançarmos muito nesse caminho, também vale a pena mencionar que a Supermicro oferece duas outras variantes da configuração do servidor AS-4125GS-TNRT. Embora usem a mesma placa-mãe, o AS-4125GS-TNRT1 é uma configuração de soquete único com um switch PCIe que suporta até 10 GPUs de largura dupla e 8 baias SSD NVMe. O AS -4125GS-TNRT2 é uma configuração de processador duplo que é mais ou menos a mesma coisa, novamente com o switch PCIe.
Não importa a configuração, o Supermicro AS-4125GS-TNRT é incrivelmente flexível graças ao seu design e capacidade de selecionar modelos com switch PCIe. Esse estilo de servidor GPU é popular porque permite que as organizações comecem pequenas e expandam, misturem e combinem GPUs para diferentes necessidades ou façam o que quiserem. Os sistemas de GPU com soquete oferecem a capacidade de agregar melhor GPUs para grandes cargas de trabalho de IA, mas os sistemas de placas adicionais não podem ser superados em termos de flexibilidade de carga de trabalho.
Supermicro AS-4125GS-TNRT com GPUs AMD e NVIDIA do SC23
Além disso, embora isso possa parecer uma blasfêmia para alguns, os servidores GPU de placas complementares da Supermicro podem até ser usados com placas AMD e NVIDIA na mesma caixa! Suspire, se quiser, mas muitos clientes descobriram que algumas cargas de trabalho preferem um Instinct, enquanto outras cargas de trabalho como a GPU NVIDIA. Por último, embora menos populares que os servidores GPU cheios até as guelras, vale a pena mencionar que esses slots são apenas slots PCIe; não é absurdo imaginar cenários em que os clientes possam preferir FPGAs, DPUs ou alguma outra forma de acelerador neste equipamento. Novamente, a flexibilidade é o principal benefício deste design.
Para fins de nossa análise, o Supermicro AS-4125GS-TNRT veio em barebones, pronto para adicionarmos CPU, DRAM, armazenamento e, claro, GPUs. Trabalhamos com a Supermicro para emprestar 4 GPUs NVIDIA H100 para esta análise.
Especificações AS-4125GS-TNRT da Supermicro
| Especificações | |
| CPU | CPUs Dual Socket SP5 de até 128C/256T cada |
| Memória | Até 24 RDIMM/LRDIMM ECC DDR256 de 4800 GB e 5 MHz (Memória total de 6 TB) |
| GPU |
|
| Slots de expansão | 9 slots PCIE 5.0 x16 FHFL |
| Fontes de Alimentação | 4 fontes de alimentação redundantes de 2000 W |
| Networking | 2 x 10 GbE |
| Armazenamento |
|
| motherboard | Super H13DSG-O-CPU |
| Gestão de Sistemas |
|
| Segurança |
|
| chassis Size | 4U |
Configuração de revisão do Supermicro AS-4125GS-TNRT
Configuramos nosso sistema da Supermicro como barebones, embora eles o vendam principalmente como um sistema configurado. Quando chegamos ao laboratório, a primeira coisa que fizemos foi preenchê-lo com um par de CPUs AMD EPYC 9374F 32c 64t. Eles foram selecionados por sua alta velocidade de clock e desempenho multi-core respeitável.
Para aceleradores, tínhamos muitas opções para escolher, desde os antigos coprocessadores Intel Phi até as mais recentes placas H100 PCIe e GPUs de estação de trabalho RTX 6000 ada de última geração. Nosso objetivo era equilibrar o poder computacional bruto com eficiência e versatilidade. No final das contas, decidimos começar com quatro GPUs NVIDIA RTX A6000 e depois passar para quatro placas NVIDIA H100 PCIe para nossos testes iniciais. Esta combinação demonstra a flexibilidade da plataforma Supermicro e das placas aceleradoras NVIDIA.
A RTX A6000, projetada principalmente para desempenho em cargas de trabalho com uso intensivo de gráficos, também se destaca em aplicações de IA e HPC com sua arquitetura Ampere. Oferece 48 GB de memória GDDR6, tornando-o ideal para lidar com grandes conjuntos de dados e simulações complexas. Seus 10,752 núcleos CUDA e 336 núcleos Tensor permitem computação acelerada, o que é crucial para nossos testes de IA e aprendizado profundo.
Por outro lado, as placas NVIDIA H100 PCIe são as placas mais recentes da linha de arquitetura Hopper, projetadas principalmente para cargas de trabalho de IA. Cada placa possui impressionantes 80 bilhões de transistores, 80 GB de memória HBM3 e o inovador Transformer Engine, feito sob medida para modelos de IA como o GPT-4. Os Tensor Cores de 100ª geração do H4 e as instruções DPX aumentam significativamente as tarefas de inferência e treinamento de IA.
Ao integrar essas GPUs ao nosso sistema barebones da Supermicro, nos concentramos em garantir o gerenciamento térmico e a distribuição de energia ideais, dado o consumo substancial de energia e a geração de calor desses componentes de última geração. O chassi da Supermicro, embora não suporte oficialmente tal configuração, provou ser versátil o suficiente para acomodar nossa configuração. Para manter as térmicas dos A6000s sob controle, tivemos que espaçá-los na largura de uma placa devido ao design da ventoinha em gaiola de esquilo, mas os H100s podem ser embalados com suas aletas de resfriamento passivas de passagem.
Nosso conjunto de benchmarking incluiu uma combinação de casos de uso específicos de HPC e IA. Eles variaram de cargas de trabalho de benchmarking tradicionais a treinamento de IA e tarefas de inferência usando modelos de redes neurais convolucionais. Nosso objetivo era levar esses aceleradores ao limite, avaliando seu desempenho e eficiência brutos, escalabilidade e facilidade de integração com nosso servidor Supermicro A+.
Teste de GPU Supermicro AS-4125GS-TNRT
À medida que avançamos pelas principais GPUs da NVIDIA enquanto trabalhamos em um modelo básico da CNN no laboratório, começamos com algum treinamento em nível de estação de trabalho em um par de GPUs mais antigas, mas altamente capazes RTX8000 GPU.
Durante nossa análise de desempenho de IA, observamos uma progressão notável, mas esperada, nas capacidades, passando da NVIDIA RTX 8000 para quatro GPUs RTX A6000 e, finalmente, para quatro placas NVIDIA H100 PCIe. Essa progressão mostrou o poder bruto desses aceleradores e a evolução dos aceleradores NVIDIA ao longo dos últimos anos, à medida que cada vez mais foco é colocado nas cargas de trabalho de IA.
Começando com o RTX 8000, notamos níveis de desempenho decentes. Com esta configuração, o treinamento do nosso modelo de IA em um conjunto de dados de imagem de 6.36 GB levou aproximadamente 45 minutos por época. No entanto, as limitações do RTX 8000 eram aparentes em termos de tamanho do lote e da complexidade das tarefas que ele poderia realizar. Estávamos limitados a lotes menores e limitados na complexidade dos modelos de redes neurais que poderíamos treinar com eficácia.
A mudança para quatro GPUs RTX A6000 marcou um salto significativo no desempenho. A largura de banda de memória superior do A6000 e a maior memória GDDR6 nos permitiram quadruplicar o tamanho do lote, mantendo a mesma duração de época e complexidade do modelo. Esta melhoria melhorou o processo de treinamento e nos permitiu experimentar modelos mais sofisticados sem prolongar o tempo de treinamento.
No entanto, o avanço mais impressionante veio com a introdução de quatro placas NVIDIA H100 PCIe. Aproveitando os recursos aprimorados de IA da arquitetura Hopper, esses cartões nos permitiram dobrar novamente o tamanho do lote. O mais impressionante é que poderíamos aumentar significativamente a complexidade dos nossos modelos de IA sem qualquer mudança notável na duração da época. Esse recurso é uma prova dos recursos avançados específicos de IA do H100, como o Transformer Engine e os Tensor Cores de 4ª geração, que são otimizados para lidar com operações complexas de IA com eficiência.
Ao longo desses testes, o conjunto de dados de imagem de 6.36 GB e os parâmetros do modelo serviram como uma referência consistente, permitindo-nos comparar diretamente o desempenho em diferentes configurações de GPU. A progressão do RTX 8000 para o A6000 e depois para o H100 destacou melhorias no poder de processamento bruto e na capacidade das GPUs de lidar com cargas de trabalho de IA maiores e mais complexas sem comprometer a velocidade ou a eficiência. Isso torna essas GPUs particularmente adequadas para pesquisas de ponta em IA e aplicações de aprendizado profundo em larga escala.
O servidor Supermicro empregado em nossos testes apresenta uma conexão PCIe direta às CPUs, dispensando a necessidade de um switch PCIe. Essa conexão direta garante que cada GPU tenha um caminho dedicado para a CPU, facilitando a transferência de dados rápida e eficiente. Essa arquitetura é crucial em algumas cargas de trabalho em IA e HPC para minimizar a latência e maximizar a utilização da largura de banda, sendo particularmente benéfica ao lidar com tarefas de alto rendimento, como treinamento de modelos de IA ou ambientes VDI complexos, quando todo o trabalho é local no servidor.
Conclusão
A escalabilidade e flexibilidade do servidor Supermicro GPU A+ Server AS-4125GS-TNRT são os recursos matadores aqui. É particularmente benéfico para clientes que precisam se adaptar às crescentes demandas de carga de trabalho, seja em IA, VDI ou outras tarefas de alto desempenho. Começando com uma configuração modesta, os usuários podem lidar com eficiência com tarefas básicas de IA ou VDI, oferecendo uma solução econômica para cargas de trabalho menores ou para aqueles que estão apenas começando a se aventurar em IA e infraestrutura de desktop virtual. Essa configuração inicial fornece uma base sólida e escalonável, permitindo que os usuários se envolvam com aplicativos básicos, porém essenciais, de IA e VDI.
Além disso, embora saibamos que muitas empresas desejam aproveitar as vantagens das GPUs H100 com soquete, os tempos de espera para essas plataformas são excessivos. Muitas fontes nos disseram que a espera é de quase um ano. A logística da cadeia de suprimentos ressalta a grande vantagem deste servidor: ele pode lidar com qualquer coisa. As GPUs L40S estão disponíveis “agora” para que os clientes possam pelo menos movimentar suas cargas de trabalho de IA mais cedo ou mais tarde com esta combinação. E conforme as necessidades mudam, os clientes podem facilmente trocar os cartões. Isso garante que o servidor Supermicro GPU A+ Server AS-4125GS-TNRT não seja apenas para necessidades imediatas, mas também à prova de futuro, atendendo ao cenário tecnológico em evolução.
Página de produto do servidor GPU Supermicro 4U
Envolva-se com a StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed
