首頁 EnterpriseAI NVIDIA Grace Hopper 超級芯片在 MLPerf 推理基準測試中佔據主導地位

NVIDIA Grace Hopper 超級芯片在 MLPerf 推理基準測試中佔據主導地位

by 喬丹拉努斯

NVIDIA 憑藉最新推出的 NVIDIA GH200 Grace Hopper 超級芯片,在人工智能 (AI) 和高性能計算領域引起了不小的轟動。 最近的產品在 MLPerf 基準測試中表現出出色的性能,展示了 NVIDIA 在雲和邊緣 AI 方面的實力。

NVIDIA 憑藉最新推出的 NVIDIA GH200 Grace Hopper 超級芯片,在人工智能 (AI) 和高性能計算領域引起了不小的轟動。 最近的產品在 MLPerf 基準測試中表現出出色的性能,展示了 NVIDIA 在雲和邊緣 AI 方面的實力。

NVIDIA Grace Hopper 超級芯片

具有意義的超級芯片

GH200 Superchip 並不是普通的芯片。 它將 Hopper GPU 與 Grace CPU 獨特地結合在一起,提供更高的內存、帶寬以及在 CPU 和 GPU 之間自動調整功率的能力,以實現最佳性能。 這種創新的集成讓芯片在功耗和性能之間實現微妙的平衡,確保人工智能應用程序在需要時獲得所需的資源。

出色的 MLPerf 結果

MLPerf 基準測試是一項受人尊敬的行業標準,NVIDIA 的 GH200 也沒有讓人失望。 該超級芯片不僅運行了所有數據中心推理測試,還展示了 NVIDIA AI 平台的多功能性,將其範圍從雲操作擴展到網絡邊緣。

此外,NVIDIA 的 H100 GPU 也不甘落後。 HGX H100 系統配備了 100 個 H100 GPU,在所有 MLPerf 推理測試中都展示了卓越的吞吐量。 這突顯了 HXNUMX GPU 的巨大潛力和功能,特別是對於計算機視覺、語音識別、醫學成像、推薦系統和大型語言模型 (LLM) 等任務。

TensorRT-LLM:增強推理性能

NVIDIA 始終走在持續創新的最前沿, TensorRT-法學碩士 是這一遺產的證明。 這款生成式人工智能軟件可增強推理能力,並作為開源庫提供。 儘管它沒有及時提交給 MLPerf 進行 100 月份的評估,但它還是有希望的,允許用戶增強 HXNUMX GPU 的性能,而不會產生額外的成本。 Meta、Cohere 和 Grammarly 等合作夥伴從 NVIDIA 在增強 LLM 推理方面的努力中受益,重申了此類軟件開發在 AI 領域的重要性。

L4 GPU:橋接主流服務器和性能

使用最新的 MLPerf 基準測試,L4 GPU 在大量工作負載中表現出了值得稱讚的性能。 當這些 GPU 放置在緊湊型加速器中時,其性能指標比具有更高額定功率的 CPU 的效率高出六倍。 專用媒體引擎的引入,與 CUDA 軟件的配合,賦予了 L4 GPU 優勢,尤其是在計算機視覺任務中。

突破界限:邊緣計算等

這些進步不僅僅局限於雲計算。 NVIDIA 對邊緣計算的重視在 Jetson Orin 模塊系統中得到了體現,與之前的版本相比,其在對象檢測方面的性能提升了高達 84%。

MLPerf:透明的基準測試標準

MLPerf 仍然是全球用戶做出購買決策所依賴的客觀基準。 Microsoft Azure 和 Oracle Cloud Infrastructure 等雲服務巨頭,以及戴爾、聯想和 Supermicro 等知名系統製造商的加入,凸顯了 MLPerf 在行業中的重要性。

總之,NVIDIA 最近在 MLPerf 基準測試中的表現鞏固了其在 AI 領域的領導地位。 憑藉廣泛的生態系統、持續的軟件創新以及對提供高質量性能的承諾,NVIDIA 確實正在塑造人工智能的未來。

如需更深入地了解 NVIDIA 成就的技術信息,請參閱鏈接 技術博客。 那些熱衷於復制 NVIDIA 基準測試成功的人可以從 MLPerf 存儲庫NVIDIA NGC 軟件中心.

參與 StorageReview 

電子通訊 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | 的TikTok | RSS訂閱