Na GTC em Tóquio, a NVIDIA anunciou o lançamento de sua nova plataforma de data center de IA, a NVIDIA TensorRT Hyperscale Platform. Esta nova plataforma oferece o acelerador de inferência mais avançado para serviços de voz, vídeo, imagem e recomendação. A plataforma alavancará as novas GPUs Tesla T4 da empresa, bem como um conjunto abrangente de novos softwares de inferência.
Na GTC em Tóquio, a NVIDIA anunciou o lançamento de sua nova plataforma de data center de IA, a NVIDIA TensorRT Hyperscale Platform. Esta nova plataforma oferece o acelerador de inferência mais avançado para serviços de voz, vídeo, imagem e recomendação. A plataforma alavancará as novas GPUs Tesla T4 da empresa, bem como um conjunto abrangente de novos softwares de inferência.
Os datacenters processam todos os tipos de consultas agora, incluindo voz, traduções, imagens, vídeos e várias interações de mídia social. Para atender a todas essas questões diferentes – que exigirão diferentes tipos de redes neurais – as organizações precisam aproveitar a IA. A nova plataforma de hiperescala TensorRT da NVIDIA é uma combinação de hardware e software destinada a resolver os problemas acima. Aproveitando as GPUs Tesla T4, baseadas na arquitetura Turing da empresa, a nova plataforma será capaz de oferecer alto desempenho com baixa latência para aplicativos de ponta a ponta.
Os elementos-chave incluem:
- NVIDIA Tesla T4 GPU – Apresentando 320 Turing Tensor Cores e 2,560 CUDA cores, esta nova GPU oferece desempenho inovador com recursos flexíveis e multiprecisão, de FP32 a FP16 a INT8, bem como INT4. Embalado em um fator de forma PCIe pequeno de 75 watts com baixo consumo de energia que cabe facilmente na maioria dos servidores, ele oferece 65 teraflops de desempenho máximo para FP16, 130 teraflops para INT8 e 260 teraflops para INT4.
- NVIDIA TensorRT 5 – Um otimizador de inferência e mecanismo de tempo de execução, o NVIDIA TensorRT 5 suporta Turing Tensor Cores e expande o conjunto de otimizações de rede neural para cargas de trabalho de precisão múltipla.
- Servidor de inferência NVIDIA TensorRT – Este software de microsserviço em contêiner permite que os aplicativos usem modelos de IA na produção de data centers. Disponível gratuitamente no registro de contêiner NVIDIA GPU Cloud, ele maximiza a taxa de transferência do data center e a utilização da GPU, oferece suporte a todos os modelos e estruturas de IA populares e integra-se ao Kubernetes e ao Docker.
Plataforma de hiperescala NVIDIA TensorRT
Inscreva-se no boletim informativo StorageReview
