NVIDIA 宣布了多項新技術和合作夥伴關係，包括新版本的 TensorRT 推理軟件、將 TensorRT 集成到谷歌的 TensorFlow 框架中，以及其語音識別軟件 Kaldi 現在針對 GPU 進行了優化。
NVIDIA 宣布了多項新技術和合作夥伴關係，包括新版本的 TensorRT 推理軟件、將 TensorRT 集成到谷歌的 TensorFlow 框架中，以及其語音識別軟件 Kaldi 現在針對 GPU 進行了優化。
VIDIA 的 TensorRT4 軟件通過準確的 INT8 和 FP16 網絡執行加速各種應用程序的深度學習推理，表明它將數據中心成本降低高達 70%。 TensorRT4 還可用於在超大規模數據中心、嵌入式和汽車 GPU 平台中快速優化、驗證和部署經過訓練的神經網絡。 NVIDIA 還聲稱，與用於普通應用程序的 CPU 相比，新軟件在深度學習推理方面的速度提高了 190 倍以上。 此外，NVIDIA 和谷歌的工程師已經將 TensorRT 集成到 TensorFlow 1.7 中，使得在 GPU 上運行深度學習推理應用變得更加容易。
NVIDIA 對 Kaldi 進行了優化，以實現在 GPU 上運行的更快性能，這將為消費者帶來更準確、更有用的虛擬助手，並降低數據中心運營商的部署成本。
進一步的合作夥伴公告包括：
- AI 支持 Windows 10 應用程序，因為 NVIDIA 與這家 IT 巨頭合作構建 GPU 加速工具，以便開發人員在 Windows 應用程序中整合更多智能功能。
- Kubernetes 的 GPU 加速，以促進多雲 GPU 集群上的企業推理部署。
- MathWorks 今天宣布將 TensorRT 與其旗艦軟件 MATLAB 集成。 NVIDIA 表示，工程師和科學家現在可以從 MATLAB 為 Jetson、NVIDIA Drive 和 Tesla 平台自動生成高性能推理引擎。
接下來，NVIDIA 指定 TensorRT 可以部署在 NVIDIA DRIVE 自動駕駛汽車和 NVIDIA Jetson 嵌入式平台上，而深度神經網絡可以在每個框架的數據中心的 NVIDIA DGX 系統上進行訓練，然後部署到所有類型的技術中進行實時推理。邊緣。
TensorRT 將允許開發人員專注於創建新穎的深度學習驅動，而不是為推理部署進行性能調整。 NVIDIA 補充說，開發人員可以利用 TensorRT 通過 INTS 或 FP16 精度提供極快的推理。 這將減少延遲，進而提高嵌入式和汽車平台上的物體檢測和路徑規劃等功能。
