Al GTC di Tokyo, NVIDIA ha annunciato il lancio della sua nuova piattaforma per data center AI, la piattaforma NVIDIA TensorRT Hyperscale. Si afferma che questa nuova piattaforma fornisce l'acceleratore di inferenza più avanzato per servizi voce, video, immagini e consigli. La piattaforma sfrutterà le nuove GPU Tesla T4 dell’azienda nonché un set completo di nuovi software di inferenza.
Al GTC di Tokyo, NVIDIA ha annunciato il lancio della sua nuova piattaforma per data center AI, la piattaforma NVIDIA TensorRT Hyperscale. Si afferma che questa nuova piattaforma fornisce l'acceleratore di inferenza più avanzato per servizi voce, video, immagini e consigli. La piattaforma sfrutterà le nuove GPU Tesla T4 dell’azienda nonché un set completo di nuovi software di inferenza.
I data center ora elaborano tutti i tipi di query, tra cui voce, traduzioni, immagini, video e varie interazioni sui social media. Per affrontare tutte queste diverse esigenze, che richiederanno diversi tipi di reti neurali, le organizzazioni devono sfruttare l’intelligenza artificiale. La nuova piattaforma TensorRT Hyperscale di NVIDIA è una combinazione di hardware e software volta a risolvere i problemi di cui sopra. Sfruttando le GPU Tesla T4, basate sull’architettura Turing dell’azienda, la nuova piattaforma sarà in grado di fornire prestazioni elevate con bassa latenza per applicazioni end-to-end.
Gli elementi chiave includono:
- GPU NVIDIA Tesla T4: dotata di 320 Turing Tensor Core e 2,560 CUDA core, questa nuova GPU offre prestazioni rivoluzionarie con funzionalità flessibili e multi-precisione, da FP32 a FP16 a INT8, nonché INT4. Presentato in un piccolo formato PCIe da 75 watt ad alta efficienza energetica che si adatta facilmente alla maggior parte dei server, offre 65 teraflop di prestazioni di picco per FP16, 130 teraflop per INT8 e 260 teraflop per INT4.
- NVIDIA TensorRT 5 – Ottimizzatore di inferenza e motore di runtime, NVIDIA TensorRT 5 supporta Turing Tensor Core ed espande il set di ottimizzazioni della rete neurale per carichi di lavoro multi-precisione.
- Server di inferenza NVIDIA TensorRT: questo software di microservizi containerizzato consente alle applicazioni di utilizzare modelli di intelligenza artificiale nella produzione dei data center. Disponibile gratuitamente dal registro dei contenitori NVIDIA GPU Cloud, massimizza il throughput del data center e l'utilizzo della GPU, supporta tutti i modelli e i framework IA più diffusi e si integra con Kubernetes e Docker.
Piattaforma iperscale NVIDIA TensorRT
Iscriviti alla newsletter di StorageReview
