東京で開催された GTC で、NVIDIA は新しい AI データセンター プラットフォームである NVIDIA TensorRT ハイパースケール プラットフォームの立ち上げを発表しました。この新しいプラットフォームは、音声、ビデオ、画像、レコメンデーション サービス向けの最先端の推論アクセラレータを提供すると述べられています。このプラットフォームは、同社の新しい Tesla T4 GPU と新しい推論ソフトウェアの包括的なセットを活用します。
東京で開催された GTC で、NVIDIA は新しい AI データセンター プラットフォームである NVIDIA TensorRT ハイパースケール プラットフォームの立ち上げを発表しました。この新しいプラットフォームは、音声、ビデオ、画像、レコメンデーション サービス向けの最先端の推論アクセラレータを提供すると述べられています。このプラットフォームは、同社の新しい Tesla T4 GPU と新しい推論ソフトウェアの包括的なセットを活用します。
現在、データ センターは、音声、翻訳、画像、ビデオ、さまざまなソーシャル メディア インタラクションを含む、あらゆる種類のクエリを処理しています。さまざまな種類のニューラル ネットワークが必要となるこれらのさまざまな要件すべてに対処するには、組織は AI を活用する必要があります。 NVIDIA の新しい TensorRT ハイパースケール プラットフォームは、上記の問題に対処することを目的としたハードウェアとソフトウェアの組み合わせです。同社の Turing アーキテクチャに基づく Tesla T4 GPU を活用することで、新しいプラットフォームはエンドツーエンドのアプリケーションに対して低遅延で高性能を提供できるようになります。
主要な要素は次のとおりです。
- NVIDIA Tesla T4 GPU – 320 個の Turing Tensor コアと 2,560 個の CUDA コアを搭載したこの新しい GPU は、FP32 から FP16、INT8、および INT4 までの柔軟な多精度機能による画期的なパフォーマンスを提供します。ほとんどのサーバーに簡単に適合するエネルギー効率の高い 75 ワットの小型 PCIe フォーム ファクタにパッケージされており、FP65 で 16 テラフロップス、INT130 で 8 テラフロップス、INT260 で 4 テラフロップスのピーク パフォーマンスを提供します。
- NVIDIA TensorRT 5 – 推論オプティマイザーおよびランタイム エンジンである NVIDIA TensorRT 5 は、Turing Tensor コアをサポートし、多精度ワークロード向けのニューラル ネットワーク最適化のセットを拡張します。
- NVIDIA TensorRT 推論サーバー – このコンテナ化されたマイクロサービス ソフトウェアにより、アプリケーションはデータセンターの実稼働環境で AI モデルを使用できるようになります。 NVIDIA GPU Cloud コンテナ レジストリから無料で利用でき、データ センターのスループットと GPU 使用率を最大化し、すべての一般的な AI モデルとフレームワークをサポートし、Kubernetes および Docker と統合します。
NVIDIA TensorRT ハイパースケール プラットフォーム
StorageReview ニュースレターにサインアップする
