幾乎一周過去了，我們沒有從 IT 供應商那裡聽到他們的解決方案對涉及人工智能、深度學習、機器學習或邊緣智能的組織的影響。 然而，問題是缺乏關於這些解決方案如何影響每項任務的性能的實質性見解。 最近，我們決定通過與位於波蘭的 AI 和 HPC 解決方案構建商 byteLAKE 合作，看看我們是否可以為此做點什麼。 主要目標是評估存儲和 GPU 對 AI 工作負載的影響。幾乎一周過去了，我們沒有從 IT 供應商那裡聽到他們的解決方案對涉及人工智能、深度學習、機器學習或邊緣智能的組織的影響。 然而，問題是缺乏關於這些解決方案如何影響每項任務的性能的實質性見解。 最近，我們決定通過與位於波蘭的 AI 和 HPC 解決方案構建商 byteLAKE 合作，看看我們是否可以為此做點什麼。 主要目標是評估存儲和 GPU 對 AI 工作負載的影響。
存儲對人工智能的影響
最初，我們想探索一個流行的概念，即本地存儲會影響 AI 模型的性能。 我們採取了其中一個 戴爾易安信 PowerEdge R740xd 我們實驗室的服務器，配置了兩個 Intel Xeon Gold 6130 CPU 和 256GB DRAM。 我們使用三種不同的本地存儲替代方案運行 byteLAKE AI 測試。 對於測試，我們使用了一個 legacy 鎧俠PX04S SSD 以及更快的速度， 三星 983 ZET 英特爾傲騰 900P.
在基準測試期間，我們分析了 AI 學習過程的性能。 在測試中，我們針對真實場景運行學習過程。 在這種情況下，測試是其中一種 byteLAKE 產品中訓練過程的一部分： EWA衛士. 它基於最新的 YOLO（You Only Look Once），這是一種最先進的實時檢測模型。 該模型由一個輸入層、22 個卷積層、5 個池化層、2 個路由器層、一個重組層和一個檢測層組成。
作為性能的基本指標，我們使用了 5000 個 epoch 的訓練執行時間。 對每個存儲配置重複基準測試 XNUMX 次，平均值如下所示。
結果：
- 鎧俠 98h 24m
- 三星 98 小時 44 小時
- 英特爾 98h 42
數據清楚地表明，本地存儲對性能沒有影響。 測試範圍從 SATA SSD 到最新最好的 Optane，沒有任何影響。 也就是說，在數據進出方面，存儲可能發揮更重要的作用，但對於 AI 的計算而言，在這種情況下沒有影響。
GPU 和存儲對 AI 的影響
有了存儲數據，我們將單個 NVIDIA T4 添加到 PowerEdge 以衡量 GPU 對 AI 的影響。 對於此測試，我們也運行了相同的三種存儲配置。
結果：
- 鎧俠 4 小時 30
- 三星 4 小時 28 米
- 英特爾 4 小時 27 分鐘
正如預期的那樣，GPU 產生了影響，實際上是指數級的影響，推動了 22 倍的改進。 隨著 GPU 加速 AI 的整體性能，有人認為更快的存儲可能會產生影響。 然而，情況並非如此，因為 SATA 驅動器正好符合高速 NVMe。
結論
在此測試中，我們發現使用更快的存儲設備不會提高學習性能。 這裡的主要原因是 AI 模型的複雜結構。 學習的時間要長於數據讀取的時間。 換句話說，使用當前一批圖像進行學習的時間比閱讀下一批圖像所需的時間要長。 因此，存儲操作隱藏在 AI 計算之後。
在添加 NVIDIA T4 時，有人認為人工智能的更快處理會導致存儲對性能產生影響。 在本次測試中情況並非如此，因為即使使用 T4，AI 模型仍然具有更重的學習組件並且不需要特別快速的存儲。
雖然需要做更多的工作來進一步測試特定組件和系統對 AI 的影響，但我們相信這些初始數據是有用的，並且是對話的良好起點。 我們需要應用程序數據，以便能夠從 IT 的角度更好地了解哪裡是正確的槓桿，以及哪裡的預算支出可以產生最有影響力的結果。 當然，這在很大程度上也取決於此活動發生的位置，無論是在數據中心還是邊緣。 現在，我們歡迎 byteLAKE 和其他處於 AI 矛尖的人的參與，以幫助提供有用的數據來幫助回答這些緊迫的問題。
這是我們的第一次 AI 測試，但不是最後一次。 byteLAKE聯合創始人Mariusz Kolanko表示，他們一直在研發一款名為 差價合約套件 （用於加速求解器的計算流體動力學“CFD”的 AI）深度學習過程在每個訓練階段都需要大量數據。 該模型實際上可能會給存儲帶來更高的負載，以在大數據領域訓練模型，並可能對深度學習過程本身的性能產生影響。 最後，與任何應用程序一樣，了解應用程序需要分配適當的數據中心資源至關重要。 人工智能顯然不是一個適合所有應用程序的尺寸。
參與 StorageReview
電子通訊 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | Facebook | RSS訂閱
