NVIDIA heeft tal van nieuwe technologieën en partnerschappen aangekondigd, waaronder een nieuwe versie van zijn TensorRT-inferentiesoftware, de integratie van TensorRT in het TensorFlow-framework van Google en dat zijn spraakherkenningssoftware, Kaldi, nu is geoptimaliseerd voor GPU's.
NVIDIA heeft tal van nieuwe technologieën en partnerschappen aangekondigd, waaronder een nieuwe versie van zijn TensorRT-inferentiesoftware, de integratie van TensorRT in het TensorFlow-framework van Google en dat zijn spraakherkenningssoftware, Kaldi, nu is geoptimaliseerd voor GPU's.
VIDIA's TensorRT4-software versnelt deep learning-inferentie over een verscheidenheid aan applicaties met nauwkeurige INT8- en FP16-netwerkuitvoering, wat aangeeft dat het de datacenterkosten met tot wel 70% zal verlagen. TensorRT4 kan ook worden gebruikt voor het snel optimaliseren, valideren en implementeren van getrainde neurale netwerken in hyperscale datacenters, embedded en automotive GPU-platforms. NVIDIA beweert ook dat de nieuwe software meer dan 190x sneller is in deep learning-inferentie in vergelijking met CPU's voor veelgebruikte toepassingen. Bovendien hebben technici van NVIDIA en Google TensorRT geïntegreerd in TensorFlow 1.7, waardoor het eenvoudiger wordt om deep learning-inferentietoepassingen op GPU's uit te voeren.
NVIDIA heeft Kaldi geoptimaliseerd om snellere prestaties op GPU's te bereiken, wat zal resulteren in nauwkeurigere en bruikbare virtuele assistenten voor consumenten en lagere implementatiekosten voor datacenterbeheerders.
Verdere aankondigingen van samenwerking zijn onder meer:
- AI-ondersteuning voor Windows 10-applicaties, aangezien NVIDIA samenwerkte met de IT-gigant om GPU-versnelde tools te bouwen, zodat ontwikkelaars meer intelligente functies in Windows-applicaties kunnen opnemen.
- GPU-versnelling voor Kubernetes om de implementatie van enterprise-inferentie op multi-cloud GPU-clusters te vergemakkelijken.
- MathWorks heeft vandaag de integratie van TensorRT met hun vlaggenschipsoftware, MATLAB, aangekondigd. NVIDIA geeft aan dat ingenieurs en wetenschappers nu automatisch krachtige inferentie-engines kunnen genereren uit MATLAB voor Jetson-, NVIDIA Drive- en Tesla-platforms.
Vervolgens specificeert NVIDIA dat TensorRT kan worden ingezet op NVIDIA DRIVE autonome voertuigen en NVIDIA Jetson embedded platforms, terwijl diepe neurale netwerken kunnen worden getraind op NVIDIA DGX-systemen in het datacenter op elk raamwerk, en vervolgens kunnen worden ingezet in alle soorten technologieën voor realtime inferentie op de rand.
Met TensorRT kunnen ontwikkelaars zich concentreren op het creëren van nieuwe door deep learning aangedreven in plaats van het afstemmen van prestaties voor inferentie-implementatie. NVIDIA voegt eraan toe dat ontwikkelaars TensorRT kunnen gebruiken om extreem snelle inferentie te leveren via INTS of FP16-precisie. Dit zal de latentie verminderen, wat op zijn beurt de mogelijkheden zal verbeteren, zoals objectdetectie en padplanning op embedded en automotive-platforms.
Meld u aan voor de StorageReview-nieuwsbrief
