På GTC i Tokyo tillkännagav NVIDIA lanseringen av sin nya AI-datacenterplattform, NVIDIA TensorRT Hyperscale Platform. Denna nya plattform anges leverera den mest avancerade slutledningsacceleratorn för röst-, video-, bild- och rekommendationstjänster. Plattformen kommer att dra nytta av företagets nya Tesla T4 GPU:er samt en omfattande uppsättning ny inferensmjukvara.
På GTC i Tokyo tillkännagav NVIDIA lanseringen av sin nya AI-datacenterplattform, NVIDIA TensorRT Hyperscale Platform. Denna nya plattform anges leverera den mest avancerade slutledningsacceleratorn för röst-, video-, bild- och rekommendationstjänster. Plattformen kommer att dra nytta av företagets nya Tesla T4 GPU:er samt en omfattande uppsättning ny inferensmjukvara.
Datacenter bearbetar nu alla typer av frågor, inklusive röst, översättningar, bilder, videor och olika sociala medier. För att ta itu med alla dessa olika behov – som kommer att kräva olika typer av neurala nätverk – måste organisationer utnyttja AI. NVIDIAs nya TensorRT Hyperscale Platform är en kombination av hårdvara och mjukvara som syftar till att lösa ovanstående problem. Genom att utnyttja Tesla T4 GPU:er, baserade på företagets Turing-arkitektur, kommer den nya plattformen att kunna leverera hög prestanda med låg latens för end-to-end-applikationer.
Nyckelelement inkluderar:
- NVIDIA Tesla T4 GPU – Med 320 Turing Tensor-kärnor och 2,560 32 CUDA-kärnor, ger denna nya GPU banbrytande prestanda med flexibla, multiprecisionsmöjligheter, från FP16 till FP8 till INT4, såväl som INT75. Förpackad i en energieffektiv, 65-watt liten PCIe-formfaktor som lätt passar in i de flesta servrar, den erbjuder 16 teraflops toppprestanda för FP130, 8 teraflops för INT260 och 4 teraflops för INTXNUMX.
- NVIDIA TensorRT 5 – En slutledningsoptimerare och körtidsmotor, NVIDIA TensorRT 5 stöder Turing Tensor Cores och utökar uppsättningen neurala nätverksoptimeringar för multiprecisionsarbetsbelastningar.
- NVIDIA TensorRT inferensserver – Denna containeriserade mikroserviceprogramvara gör det möjligt för applikationer att använda AI-modeller i datacenterproduktion. Fritt tillgänglig från NVIDIA GPU Cloud-behållarregistret, den maximerar datacentergenomströmning och GPU-användning, stöder alla populära AI-modeller och ramverk och integreras med Kubernetes och Docker.
NVIDIA TensorRT Hyperscale Platform
Anmäl dig till StorageReviews nyhetsbrev
