Au GTC de Tokyo, NVIDIA a annoncé le lancement de sa nouvelle plate-forme de centre de données IA, la plate-forme NVIDIA TensorRT Hyperscale. Cette nouvelle plate-forme est présentée comme fournissant l'accélérateur d'inférence le plus avancé pour les services de voix, de vidéo, d'image et de recommandation. La plate-forme tirera parti des nouveaux GPU Tesla T4 de la société ainsi que d'un ensemble complet de nouveaux logiciels d'inférence.
Au GTC de Tokyo, NVIDIA a annoncé le lancement de sa nouvelle plate-forme de centre de données IA, la plate-forme NVIDIA TensorRT Hyperscale. Cette nouvelle plate-forme est présentée comme fournissant l'accélérateur d'inférence le plus avancé pour les services de voix, de vidéo, d'image et de recommandation. La plate-forme tirera parti des nouveaux GPU Tesla T4 de la société ainsi que d'un ensemble complet de nouveaux logiciels d'inférence.
Les centres de données traitent désormais tous les types de requêtes, y compris la voix, les traductions, les images, les vidéos et diverses interactions sur les réseaux sociaux. Afin de répondre à tous ces différents besoins, qui nécessiteront différents types de réseaux de neurones, les organisations doivent tirer parti de l'IA. La nouvelle plate-forme hyperscale TensorRT de NVIDIA est une combinaison de matériel et de logiciels visant à résoudre les problèmes ci-dessus. Tirant parti des GPU Tesla T4, basés sur l'architecture Turing de la société, la nouvelle plate-forme sera en mesure de fournir des performances élevées avec une faible latence pour les applications de bout en bout.
Les éléments clés incluent :
- GPU NVIDIA Tesla T4 - Doté de 320 cœurs Turing Tensor et de 2,560 32 cœurs CUDA, ce nouveau GPU offre des performances révolutionnaires avec des capacités flexibles et multi-précision, de FP16 à FP8 à INT4, ainsi qu'INT75. Présenté dans un petit facteur de forme PCIe de 65 watts écoénergétique qui s'intègre facilement à la plupart des serveurs, il offre 16 téraflops de performances de pointe pour FP130, 8 téraflops pour INT260 et 4 téraflops pour INTXNUMX.
- NVIDIA TensorRT 5 - Un optimiseur d'inférence et un moteur d'exécution, NVIDIA TensorRT 5 prend en charge les cœurs Turing Tensor et élargit l'ensemble des optimisations de réseau neuronal pour les charges de travail multi-précision.
- Serveur d'inférence NVIDIA TensorRT - Ce logiciel de microservice conteneurisé permet aux applications d'utiliser des modèles d'IA dans la production de centres de données. Disponible gratuitement à partir du registre de conteneurs NVIDIA GPU Cloud, il maximise le débit du centre de données et l'utilisation du GPU, prend en charge tous les modèles et frameworks d'IA populaires et s'intègre à Kubernetes et Docker.
Plate-forme hyperscale NVIDIA TensorRT
Inscrivez-vous à la newsletter StorageReview
