Procyon 繼續添加其基準測試套件,並將很快為專業用戶提供一系列基準測試和效能測試。其人工智慧文字和圖像生成基準使使用大型語言和圖像模型變得更加容易。
Procyon 的 AI 文字和圖像生成基準旨在使大型語言和圖像模型的處理變得更加容易。這些測試是標準化的、可重複的,並且反映了真實場景,因此您不必擔心測量效能的複雜性。
人工智慧文字和圖像生成工作負載可能會將硬體推向極限,因此擁有一致且實用的基準至關重要。無論您是在高效能 GPU 還是較小的神經處理單元上執行測試,Procyon 都能提供清晰且可操作的見解,幫助您準確了解硬體的效能。
透過彌合先進人工智慧功能和實際效能測量之間的差距,Procyon 為用戶提供了一種直觀的方式來了解他們的系統處理當今最苛刻的人工智慧任務的能力。
Procyon 人工智慧文字產生基準
Procyon AI 文字產生基準評估電腦或裝置運行 AI 模型(例如 ChatGPT 等工具背後的模型)來產生文字的效率。它檢查系統在給出提示時產生回應、寫入內容或總結資訊的速度和流暢程度,同時還監視在此過程中使用了多少電腦資源(例如處理器、顯示卡和記憶體)。
Procyon 基準測試的獨特之處在於,它簡化了評估本地大語言模型 (LLM) 效能的複雜任務,使企業專業人士、硬體審查人員和工程團隊等使用者可以使用它。傳統的基準測試需要大量的儲存、大量的下載和仔細的配置來管理量化和令牌處理等變數。 Procyon 透過結構化測試框架和預先包裝的最佳化 AI 模型簡化了此流程,無需技術專業知識或手動設定即可提供一致、可重複的結果。
南河三如何 人工智慧文字生成 工作原理及其重要性
Procyon 透過預先載入四個廣泛認可的模型來自動化 LLM 測試,從而能夠快速可靠地評估推理任務的效能 - 根據輸入提示即時產生文字。它在測試期間監控關鍵指標,例如每秒令牌數、延遲和硬體資源使用情況(CPU、GPU 和記憶體)。該平台提供即時洞察並產生詳細的測試後報告,突出顯示推理速度、潛在資源瓶頸和整體效率。
這些結果可幫助使用者優化效能,並允許企業評估其硬體管理高要求人工智慧工作負載的能力。
真實世界的測試場景
Procyon 的基準測試套件透過七個不同的測試提示模擬實際用例,涵蓋兩個關鍵工作負載:
測試類型 | 工作負載焦點 | 輸入格式 | 突出的用例範例 | 產品特性 |
檢索增強生成 (RAG) | 高複雜度檢索 | 標記化數據 | 產生基於知識的摘要 | 測試檢索整合準確性 |
創意非 RAG 文本 | 自由形式生成 | 自然語言文本 | 撰寫創意草稿、故事 | 評估生成流暢性 |
- 檢索增強生成 (RAG):RAG 任務衡量模型如何有效地將外部知識整合到其回應中。這些可能包括產生摘要或回答需要存取法學碩士培訓集之外的數據的問題。
- 創意非 RAG:在自由格式產生任務中,重點是當模型僅依賴其內部訓練時評估文字的流暢性、連貫性和創造性輸出。
Procyon 透過涵蓋企業人工智慧工作流程(知識檢索)和創意內容生成(自由格式任務)這兩項任務來反映現實世界的應用程式。
Procyon AI 影像產生基準
與文字版本一樣,Procyon AI 影像產生基準衡量電腦或裝置處理 AI 驅動的影像產生任務的效率,例如將文字提示轉換為高品質影像。它是根據行業領導者的意見開發的,旨在使用穩定擴散模型來評估一系列硬體(從低功耗神經處理單元(NPU) 到高性能GPU),該模型廣泛用於專業人士和日常用戶的文字到圖像生成。
Procyon AI 影像產生基準是什麼 獨特的?
Procyon 的影像基準測試提供三種不同的測試,每種測試都針對不同的硬體功能量身定制,確保對各種設備進行全面評估:
- 穩定擴散 XL (FP16): 這是專為高階 GPU 設計的最嚴苛的測試。它透過 1024 個步驟產生 1024×100 解析度的影像。
- 穩定擴散 1.5 (FP16): 中檔 GPU 的平衡工作負載,可產生 512×512 解析度影像,批次大小為 4 和 100 步。
- 穩定擴散 1.5 (INT8): 針對 NPU 等低功耗設備的最佳化測試,重點關注 512×512 影像,更輕的設定為 50 個步驟和單一影像批次。
南河三如何 人工智能圖像生成 工作原理及其重要性
Procyon 透過測量影像產生速度、GPU 使用率和整體資源效率等關鍵因素來評估您的系統效能。它追蹤即時指標,例如 GPU 溫度、時脈速度和記憶體使用情況,同時也分析生成影像的品質。 Procyon 還支援多種推理引擎,包括 NVIDIA TensorRT、Intel OpenVINO 和帶有 DirectML 的 ONNX,使其能夠在不同平台和硬體上配置無縫運行。
測試結束時,Procyon 會產生詳細的報告,突出顯示效能分數、資源瓶頸和輸出質量,讓使用者清楚地了解其硬體處理文字到影像任務的計算需求的情況。這對於一系列用例來說都非常有用,無論您是微調 AI 引擎的開發人員、比較系統的硬體審閱者還是優化工作流程的企業。
此基準測試透過標準化文字提示和穩定擴散模型的使用來確保跨硬體的可靠比較。隨附的報告允許用戶查看整體性能得分和生成圖像的質量,從而全面了解其係統如何處理文字到圖像任務的計算需求。
基準測試
在評估人工智慧工作負載系統時,硬體可能會有很大差異,從便攜式消費性筆記型電腦到專為專業環境設計的高端工作站。每種配置都有優點和局限性,因此必須跨不同平台進行測試,以了解不同的硬體設定檔如何處理要求嚴苛的人工智慧任務。
為了進行此分析,我們在各種系統上使用了 Procyon 基準測試,包括遊戲筆記型電腦、企業級工作站和兩台多功能專業設備。這種多樣性使我們能夠觀察到受 GPU 功能、記憶體架構、儲存解決方案和處理器類型影響的效能差異。
- 外星人筆記型電腦: Alienware 筆記型電腦運行 Windows 11 Home,是一款消費性筆記型電腦,主要為遊戲而設計,但由於配備了 NVIDIA RTX 4090 GPU,因此非常適合 AI 工作負載。其英特爾酷睿 i9-14900KF 處理器和 32GB DDR4 記憶體確保了穩定的運算能力,而三星 PM9A1 NVMe SSD 則負責儲存。
- Precision 5860 塔式機: Precision 5860 Tower 專為企業級效能而打造,配備 NVIDIA RTX 6000 GPU,這是一款專為 AI 和 3D 渲染等密集工作負載量身定制的專業級強大處理器。其 Intel Xeon w7-2595X CPU 提供工作站級處理能力,並輔以 128GB DDR5 RAM。
- 聯想ThinkPad: Lenovo ThinkPad 平衡了便攜性和專業級性能,非常適合需要移動性而不影響功能的用戶。它具有 NVIDIA RTX A4000 GPU,這是一款專為 AI 和圖形工作負載而設計的工作站級卡。系統搭載 Intel Xeon W-11955M 處理器,支援 32GB DDR4 記憶體。儲存解決方案是三星 980 Pro SSD,這是一種流行的 NVMe 驅動器。
- 聯想ThinkStation: Lenovo ThinkStation 是一款專業級工作站,專為處理最繁重的運算負載而設計。它專為實現峰值 AI 推理性能而設計,配備 NVIDIA RTX A5500 GPU 和 Intel Xeon Gold 5420+ CPU。它配備 256GB DDR5 內存,提供強大的多任務處理和數據處理能力。該系統使用 Kioxia Exceria Pro SSD,這是一種高耐用性、高速驅動器,可滿足大規模資料處理的需求。與其他產品一樣,它在 Windows 11 Pro 上運行。
使用 Procyon AI 基準測試這些系統使我們能夠了解這些工具如何實際運作,同時示範不同類型的硬體如何處理 AI 任務。無論是配備頂級消費級 GPU 的遊戲筆記型電腦還是專為重型工作負載打造的專業工作站,每種設定都具有獨特之處。
人工智慧文字生成
系統 | 型號 | 總體得分 | 輸出令牌/秒 |
---|---|---|---|
外星人Procyon (NVIDIA RTX 4090、ONNXRuntime-DirectML 1.20.0) |
3.5號 | 3031 | 226.56 令牌/秒 |
米斯特拉爾7B | 3507 | 171.9 令牌/秒 | |
美洲駝3.1 | 3487 | 142.26 令牌/秒 | |
美洲駝2 | 3527 | 90.59 令牌/秒 | |
精密5860塔 (NVIDIA RTX 6000、ONNXRuntime-DirectML 1.20.0) |
3.5號 | 2245 | 180.472 令牌/秒 |
米斯特拉爾7B | 2725 | 146.639 令牌/秒 | |
美洲駝3.1 | 2692 | 118.806 令牌/秒 | |
美洲駝2 | 2733 | 77.326 令牌/秒 | |
聯想Thinkpad (英特爾超高清顯示卡(iGPU)、英特爾 OpenVINO 2024.5.0) |
3.5號 | 133 | 8.98 令牌/秒 |
米斯特拉爾7B | 108 | 5.54 令牌/秒 | |
美洲駝3.1 | 107 | 2.93 令牌/秒 | |
美洲駝2 | 100 | 8.98 令牌/秒 | |
聯想Thinkstation (NVIDIA RTX A5500、ONNXRuntime-DirectML 1.20.0) |
3.5號 | 1551 | 99.43 令牌/秒 |
米斯特拉爾7B | 1556 | 64.18 令牌/秒 | |
美洲駝3.1 | 1580 | 59.55 令牌/秒 | |
美洲駝2 | 1644 | 37.38 令牌/秒 |
人工智能圖像生成
系統 | 基準 | 總體得分 | 影像生成速度(/秒) |
---|---|---|---|
外星人Procyon (NVIDIA RTX 4090、NVIDIA TensorRT) |
穩定擴散 1.5 (FP16) | 5995 | 1.043 秒/影像 |
穩定擴散1.5 (INT8) | 49692 | 0.629 秒/影像 | |
穩定擴散 XL (FP16) | 4944 | 7.584 秒/影像 | |
精密5860塔 (NVIDIA RTX 6000、NVIDIA TensorRT) |
穩定擴散 1.5 (FP16) | 44169 | 0.708 秒/影像 |
穩定擴散1.5 (INT8) | 3094 | 12.120 秒/影像 | |
穩定擴散 XL (FP16) | 4182 | 1.494 秒/影像 | |
聯想Thinkpad (NVIDIA RTX A4000、TensorRT) |
穩定擴散 1.5 (FP16) | 1308 | 4.778 秒/影像 |
穩定擴散1.5 (INT8) | 15133 | 2.065 秒/影像 | |
穩定擴散 XL (FP16) | 858 | 43.702 秒/影像 | |
聯想Thinkstation (NVIDIA RTX A5500、NVIDIA TensorRT) |
穩定擴散 1.5 (FP16) | 2401 | 2.603 秒/影像 |
穩定擴散1.5 (INT8) | 25489 | 1.226 秒/影像 | |
穩定擴散 XL (FP16) | 2000 | 18.747 秒/影像 |
請繼續關注此頁面,我們將繼續在 StorageReview 實驗室的各種系統上執行這些新測試。
參與 StorageReview
電子報 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | 的TikTok | RSS訂閱