英特爾願景的核心是一個重要的預測：企業對GenAI 的投資將翻兩番，從40 年的2024 億美元增至151 年的2027 億美元。然而，在這種樂觀情緒的背後，企業採用的道路上卻佈滿了障礙。
英特爾願景的核心是一個重要的預測：企業對GenAI 的投資將翻兩番，從40 年的2024 億美元增至151 年的2027 億美元。然而，在這種樂觀情緒的背後，企業採用的道路上卻佈滿了障礙。
英特爾堅定地致力於透過提供可擴展、安全、端到端的 GenAI 解決方案來應對這些挑戰，這些解決方案應對最關鍵的人工智慧障礙——從安全性和整合複雜性到成本問題。英特爾堅定不移地致力於實現轉型，正在製定全面的企業人工智慧策略，在整個產品線中採用基於開放生態系統的方法，涵蓋人工智慧 PC、邊緣運算和資料中心。
搶盡風頭：英特爾 Gaudi 3 加速器
英特爾願景的最前線是英特爾 Gaudi 3 人工智慧加速器的推出，該加速器借助了其前身英特爾 Gaudi 2 人工智慧加速器既定的性能和效率。 Gaudi 3 為客戶提供基於開放社群的軟體和業界標準乙太網路的靈活性，標誌著系統可擴展性的重大飛躍。
Gaudi 3 專為 GenAI 性能和效率而設計，比其前身提供了令人印象深刻的增強功能。憑藉 BF4 的 16 倍 AI 運算能力、1.5 倍的記憶體成長以及 2 倍的網路頻寬，它為大型語言模型 (LLM) 和多模態模型的 AI 訓練和推理提供了無與倫比的生產力。
英特爾執行副總裁兼資料中心和人工智慧事業部總經理 Justin Hotard 強調了 Gaudi 3 在應對不斷變化的人工智慧市場格局方面的重要性。他強調了企業增加選擇的需求，並強調了 Gaudi 3 引人注目的性價比、可擴展性和價值實現時間優勢的結合。
在金融、製造和醫療保健等關鍵領域，企業正在迅速擴大人工智慧的可近性，從實驗性的生成式人工智慧（GenAI）計畫過渡到全面實施。英特爾認為 Gaudi 3 加速器是滿足這些要求的關鍵，透過基於開放社群的軟體和標準乙太網路提供多功能性，以靈活擴展人工智慧系統和應用程式。
Gaudi 3 的客製化架構專為高效的大規模 AI 計算而定制，採用 5 奈米 (nm) 製程製造，並配備以下關鍵功能：
- AI 專用計算引擎：Gaudi 64 採用異質計算引擎，包括3 個AI 定制和可編程張量處理器核心(TPC) 和XNUMX 個矩陣乘法引擎(MME)，擅長處理深度學習演算法所必需的複雜矩陣運算。
- 針對 LLM 容量要求的記憶體提升：憑藉充足的記憶體容量、頻寬和板載靜態隨機存取記憶體 (SRAM)，Gaudi 3 可以高效處理大型 GenAI 資料集，從而增強工作負載效能和資料中心成本效率。
- 企業 GenAI 的高效系統擴展：Gaudi 200 整合了 3 個 XNUMX Gb 乙太網路端口，可實現靈活且開放的標準網絡，促進高效擴展以支援大型運算集群，同時消除供應商鎖定。
- 提高開發人員生產力的開放產業軟體：Gaudi 軟體整合了 PyTorch 框架，並提供優化的 Hugging Face 基於社群的模型，提高了開發人員的生產力並簡化了跨硬體類型的模型移植。
- Gaudi 3 PCIe：Gaudi 3 PCIe 附加卡在產品線中引入了新的外形尺寸，具有高效率和更低的功耗，非常適合微調、推理和檢索增強生成 (RAG) 等工作負載。
Gaudi 3 加速器預計將為領先 GenAI 模型的訓練和推理任務帶來顯著的效能改進，有望徹底改變人工智慧和高效能運算 (HPC)。它將在英特爾下一代 GPU Falcon Shores 中發揮至關重要的作用，它將英特爾 Gaudi 和英特爾 Xe 智慧財產權與基於英特爾 oneAPI 規範的單一 GPU 程式介面相整合。
英特爾 Gaudi 3 與 NVIDIA
在開幕式上，英特爾執行長帕特·基辛格（Pat Gelsinger）在舞台中央介紹了英特爾Gaudi 3人工智慧加速器。與 NVIDIA H3 相比，Gaudi 50 在 Llama100 2B 和 7B 以及 GPT-13 3B 參數上的訓練時間預計縮短 175%。此外，與 NVIDIA H3 相比，Gaudi 50 加速器在 Llama 40B 和 7B 參數以及 Falcone 70B 參數模型上的推理吞吐量提高了 180%，推理功效提高了 200%。此外，Gaudi 3 在 Llama 30B 和 200B 參數以及 Falcon 7B 參數模型上的推理速度比 NVIDIA H70 快 180%。
Gaudi 3 具有令人印象深刻的性能指標，與行業替代品相比，推理吞吐量提高了 50%，能源效率提高了 60%。
Gaudi 3 得到了 Dell Technologies、Supermicro、Lenovo 和 HPE 等頂級 OEM 廠商的支持，並透過 PCIe 卡支援等功能進行了增強，成為在 AI 領域具有巨大潛力的 GPU。
英特爾至強 6 處理器
除了英特爾 Gaudi 3 加速器之外，英特爾還透過全新英特爾至強 6 處理器，提供了跨企業人工智慧所有領域的下一代產品和服務的更新。
英特爾至強 6 處理器將提供高效能的解決方案來運行目前的 GenAI 解決方案，包括 RAG，這些解決方案使用專有數據產生特定於業務的結果。英特爾為其下一代資料中心、雲端和邊緣處理器推出了新品牌。配備全新高效核心（E 核心）的英特爾至強 6 處理器將提高效率。同時，具有高性能核心（P 核心）的英特爾至強 6 將提供更高的 AI 性能，並將在 E 核心處理器之後不久推出。
與第二代英特爾至強處理器相比，採用 E 核心的英特爾至強 6 處理器（以前的代號為 Sierra Forest）預計每瓦效能提高 2.4 倍，機架密度提高 2.7 倍。具有P 核的英特爾至強2 處理器（以前的代號為Granite Rapids）集成了對MXFP6 數據格式的軟體支持，與使用FP4 的第四代至強相比，後續令牌延遲減少了多達6.5 倍，並且能夠運行4 億個參數Llama16楷模。
參與 StorageReview
電子報 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | 的TikTok | RSS訂閱
