Op GTC in Tokio kondigde NVIDIA de lancering aan van haar nieuwe AI-datacenterplatform, het NVIDIA TensorRT Hyperscale Platform. Van dit nieuwe platform wordt gezegd dat het de meest geavanceerde inferentieversneller levert voor spraak-, video-, beeld- en aanbevelingsdiensten. Het platform zal gebruikmaken van de nieuwe Tesla T4 GPU's van het bedrijf, evenals een uitgebreide set nieuwe inferentiesoftware.
Op GTC in Tokio kondigde NVIDIA de lancering aan van haar nieuwe AI-datacenterplatform, het NVIDIA TensorRT Hyperscale Platform. Van dit nieuwe platform wordt gezegd dat het de meest geavanceerde inferentieversneller levert voor spraak-, video-, beeld- en aanbevelingsdiensten. Het platform zal gebruikmaken van de nieuwe Tesla T4 GPU's van het bedrijf, evenals een uitgebreide set nieuwe inferentiesoftware.
Datacenters verwerken nu alle soorten vragen, waaronder spraak, vertalingen, afbeeldingen, video's en verschillende interacties op sociale media. Om al deze verschillende eisen aan te pakken - waarvoor verschillende soorten neurale netwerken nodig zijn - moeten organisaties gebruikmaken van AI. NVIDIA's nieuwe TensorRT Hyperscale Platform is een combinatie van hardware en software die is gericht op het aanpakken van de bovenstaande problemen. Door gebruik te maken van Tesla T4 GPU's, gebaseerd op de Turing-architectuur van het bedrijf, kan het nieuwe platform hoge prestaties leveren met lage latentie voor end-to-end-applicaties.
Sleutelelementen zijn onder meer:
- NVIDIA Tesla T4 GPU – Met 320 Turing Tensor Cores en 2,560 CUDA cores biedt deze nieuwe GPU baanbrekende prestaties met flexibele, multiprecisiemogelijkheden, van FP32 tot FP16 tot INT8, evenals INT4. Verpakt in een energie-efficiënte, 75-watt, kleine PCIe-vormfactor die gemakkelijk in de meeste servers past, biedt het 65 teraflops aan piekprestaties voor FP16, 130 teraflops voor INT8 en 260 teraflops voor INT4.
- NVIDIA TensorRT 5 – Een inferentie-optimizer en runtime-engine, NVIDIA TensorRT 5 ondersteunt Turing Tensor Cores en breidt de reeks neurale netwerkoptimalisaties uit voor multi-precision workloads.
- NVIDIA TensorRT-inferentieserver – Met deze gecontaineriseerde microservicesoftware kunnen toepassingen AI-modellen gebruiken bij de productie van datacenters. Het is vrij verkrijgbaar via het NVIDIA GPU Cloud-containerregister en maximaliseert de doorvoer van het datacenter en het GPU-gebruik, ondersteunt alle populaire AI-modellen en -frameworks en integreert met Kubernetes en Docker.
NVIDIA TensorRT Hyperscale-platform
Meld u aan voor de StorageReview-nieuwsbrief
