人工智能的世界正在以極快的速度發展，眨眼，你就會錯過下一個進步。 隨著模型規模越來越大，研究人員和開發人員不斷尋求提高 AI 模型效率和性能的方法。 實現這一目標的最簡單方法之一是使用多個圖形處理單元 (GPU) 或張量處理單元（TPU，下一期將詳細介紹）進行 AI 訓練和推理。
人工智能的世界正在以極快的速度發展，眨眼，你就會錯過下一個進步。 隨著模型規模越來越大，研究人員和開發人員不斷尋求提高 AI 模型效率和性能的方法。 實現這一目標的最簡單方法之一是使用多個圖形處理單元 (GPU) 或張量處理單元（TPU，下一期將詳細介紹）進行 AI 訓練和推理。
HP z8 G5 Fury 上的 DNN 培訓
建立在我們的 人工智能在實驗室的最後一部分，我們深入研究並實際動手研究了在我們的 HP Z8 G5 Fury 工作站中從使用單個 GPU 過渡到使用兩個，最終四個這些強大的卡的好處，特別關注 PyTorch 模型並行性.
模型並行的力量
在我們深入細節之前，了解並行性的概念至關重要。 在 AI 的上下文中，並行性是指同時運行多個計算的過程。 這在需要處理大量數據的 AI 訓練和推理中特別有用。 PyTorch 是我們在實驗室中使用的開源機器學習庫，它提供模型並行性，允許跨多個 GPU 分佈 AI 模型。 這會導致更快的訓練時間、更高效的推理以及運行更大、更複雜模型的能力。
確保禁用 SLI 至關重要
擴大規模的好處
單 GPU
從單個 GPU 開始，此設置為 AI 訓練和推理提供了堅實的基礎。 在用於開發的工作站中運行單個現代（甚至是幾代以前的）GPU 對於 POC 階段來說綽綽有餘。 它能夠處理合理數量的數據，並且可以為較小的 AI 模型提供令人滿意的結果。 然而，隨著模型的複雜性和規模的增加，單個 GPU 可能很快難以跟上，從而導致更長的訓練時間和更慢的推理。
單 GPU 利用率
兩個 GPU
切換到一對 GPU 可以顯著提高 AI 模型的性能。 想一想：兩倍的處理能力可以顯著縮短訓練時間，為更快的迭代和快速獲得結果鋪平道路。
推理階段也受益，變得更加高效並且能夠同時處理更大的數據批次。 在這樣的環境中，PyTorch 的模型並行性開始發揮作用。 它有效地分配了兩個單元之間的工作量，最大限度地利用它們。 這是確保每件硬件都承載其重量以實現高效 AI 操作的明智方法。
3 倍的樂趣，NVIDIA A6000
四個 GPU
擴展到四個 GPU 可將多 GPU 利用率的優勢提升到另一個層次。 憑藉四倍的處理能力，人工智能模型可以以前所未有的速度進行訓練和推理。 此設置特別有利於需要大量計算資源的大型複雜模型。 PyTorch 的模型並行性可以將模型分佈在所有四個單元中，確保最佳利用率和性能。
在工作站中，應用手動風扇和時鐘值也可以提高訓練性能。
實驗室實施
從一個單獨的單元發展為兩個 GPU，並最終發展為用於 AI 訓練和推理的四重 GPU 可以釋放出相當大的優勢。 由於 PyTorch 的模型並行性，這些優勢可以得到最佳利用，從而產生更快、更高效的 AI 模型。
反複試驗，耐心是 AI/ML/DL 培訓的關鍵。
隨著我們對更複雜、更強大的 AI 的渴望不斷膨脹，採用多個 GPU 的重要性無疑會增加。 在下一篇文章中，我們將展示隨著您添加更多處理能力和跨系統分佈所帶來的複雜性改進。
注意：本文基於截至 2023 年 XNUMX 月 AI 和 PyTorch 的當前狀態。有關最新信息，請務必查看我們的 最近的人工智能文章.
參與 StorageReview
電子報 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | 的TikTok | RSS訂閱
