Auf der GTC in Tokio kündigte NVIDIA die Einführung seiner neuen KI-Rechenzentrumsplattform an, der NVIDIA TensorRT Hyperscale Platform. Diese neue Plattform soll den fortschrittlichsten Inferenzbeschleuniger für Sprach-, Video-, Bild- und Empfehlungsdienste liefern. Die Plattform wird die neuen Tesla T4-GPUs des Unternehmens sowie einen umfassenden Satz neuer Inferenzsoftware nutzen.
Auf der GTC in Tokio kündigte NVIDIA die Einführung seiner neuen KI-Rechenzentrumsplattform an, der NVIDIA TensorRT Hyperscale Platform. Diese neue Plattform soll den fortschrittlichsten Inferenzbeschleuniger für Sprach-, Video-, Bild- und Empfehlungsdienste liefern. Die Plattform wird die neuen Tesla T4-GPUs des Unternehmens sowie einen umfassenden Satz neuer Inferenzsoftware nutzen.
Rechenzentren verarbeiten mittlerweile alle Arten von Anfragen, einschließlich Sprache, Übersetzungen, Bilder, Videos und verschiedene Social-Media-Interaktionen. Um all diese unterschiedlichen Anforderungen zu erfüllen, die unterschiedliche Arten neuronaler Netze erfordern, müssen Unternehmen KI nutzen. NVIDIAs neue TensorRT Hyperscale-Plattform ist eine Kombination aus Hardware und Software, die darauf abzielt, die oben genannten Probleme zu lösen. Durch die Nutzung von Tesla T4-GPUs, die auf der Turing-Architektur des Unternehmens basieren, wird die neue Plattform in der Lage sein, hohe Leistung mit geringer Latenz für End-to-End-Anwendungen bereitzustellen.
Zu den Schlüsselelementen gehören:
- NVIDIA Tesla T4 GPU – Mit 320 Turing-Tensor-Kernen und 2,560 CUDA-Kernen bietet diese neue GPU bahnbrechende Leistung mit flexiblen Multipräzisionsfunktionen, von FP32 über FP16 bis INT8 sowie INT4. Verpackt in einem energieeffizienten, kleinen PCIe-Formfaktor mit 75 Watt, der problemlos in die meisten Server passt, bietet es 65 Teraflops Spitzenleistung für FP16, 130 Teraflops für INT8 und 260 Teraflops für INT4.
- NVIDIA TensorRT 5 – Als Inferenzoptimierer und Laufzeit-Engine unterstützt NVIDIA TensorRT 5 Turing-Tensor-Kerne und erweitert den Satz neuronaler Netzwerkoptimierungen für Multipräzisions-Workloads.
- NVIDIA TensorRT-Inferenzserver – Diese Container-Microservice-Software ermöglicht Anwendungen die Verwendung von KI-Modellen in der Rechenzentrumsproduktion. Es ist kostenlos in der NVIDIA GPU Cloud-Container-Registrierung verfügbar, maximiert den Durchsatz des Rechenzentrums und die GPU-Auslastung, unterstützt alle gängigen KI-Modelle und Frameworks und lässt sich in Kubernetes und Docker integrieren.
NVIDIA TensorRT Hyperscale-Plattform
Melden Sie sich für den StorageReview-Newsletter an
