在 QNAP NAS 上運行私有 RAG ChatGPT

QNAP NAS 平台擁有同類產品中最獨特、最強大的硬體設計。因此，我們添加了 GPU 並測試了 AI 功能。

QNAP 以其硬體設計而聞名，並在其硬體設計中融入了比同類產品更多的功能、擴展性和靈活性。最近，我們回顧了 TS-h1290FX，一個 12 NVMe NAS，配備 AMD EPYC 7302P CPU (16C/32T)、256GB DRAM、板載 25GbE 和大量 PCI 插槽。帶著所有被壓抑的力量和 機上應用程式，如果我們加入 GPU，看看在運行 AI 時我們能將這個 NAS 推到什麼程度，就像私人 ChatGPT 一樣，會發生什麼？

AI 的 NAS 儲存潛力

威聯通 TS-h1290FX 可以為希望進軍人工智慧領域的企業提供許多幫助。 NAS 具有獨特的優勢，因為它可以支援內部 GPU，並具有海量儲存空間的潛力。大型人工智慧模型需要大量數據，必須有效儲存和存取這些數據。這對於使用硬碟的儲存平台來說可能是一個挑戰，但支援 U.1290 NVMe 的 TS-h2FX 已經涵蓋了一切。

當您想到大容量 NAS 時，首先想到的是支援最大 3.5TB 硬碟的 24 吋 HDD 平台。這聽起來很大，但與 QLC U.2 SSD 相比，這根本不算什麼。 QNAP 最近增加了對 固力P5336 系列，每個驅動器容量高達令人難以置信的 61.44TB。對於 TS-h12FX 等 1290 盤位型號，在資料縮減開始之前，客戶可以獲得高達 737TB 的原始儲存空間。對於緊湊型桌面佔用空間 NAS，很少有系統可以與其競爭。

隨著企業迅速採用人工智慧，擁有一個可以為人工智慧工作流程和運行模型提供儲存容量的系統是一個巨大的優勢。不過，令人印象深刻的壯舉是，這款 QNAP NAS 可以運行這些 AI 工作流程，同時仍處理在 SMB 或 SME 環境中共享儲存的主要職責。

也應該說，人工智慧並不是一個單一的東西。不同的人工智慧專案需要不同類型的儲存來支援。雖然我們在這裡重點關注桌面設備，但 QNAP 還有許多其他 NAS 系統支援高速快閃記憶體和網絡，這是支援比我們在此介紹的更雄心勃勃的 AI 需求的關鍵要素。

QNAP 如何支援 GPU？

QNAP 在許多 NAS 系統中支援 GPU。他們還有一些支援 GPU 的應用程式。在本文中，我們主要透過虛擬化站的視角來了解 GPU。 Virtualization Station 是 QNAP NAS 的管理程序，可讓使用者建立各種虛擬機器。 Virtualization Station 還具有豐富的功能集，支援 VM 備份、快照、克隆，最重要的是，支援本文上下文中的 GPU 直通。

在我們的測試設備內，QNAP TS-h1290FX 配備了典型的伺服器主機板，具有多個可用的 PCIe 插槽用於擴充。 QNAP 還在機殼內提供了必要的 GPU 電源線，因此對於需要 PCIe 插槽以上電源的卡片來說，不需要任何有趣的事情。我們發現單插槽 NVIDIA RTX A4000 完美契合，具有足夠的冷卻空間。在此平台中，首選具有主動冷卻器的 GPU。您對 GPU 的選擇將取決於工作負載以及 NAS 可以實際支援和冷卻的內容。

配置 QNAP 的 AI

在 QNAP NAS 設備上設定具有 GPU 直通功能的虛擬機器 (VM) 涉及多個步驟。需要 QNAP 支援虛擬化的NAS 並具備必要的硬體能力。以下是我們如何設定和配置具有 GPU 直通功能的 QNAP NAS 的指南。

1. 驗證硬件兼容性

確保您的 QNAP NAS 支援 Virtualization Station，即 QNAP 的虛擬化應用程式。

• 確認 NAS 具有可用於 GPU 的可用 PCIe 插槽，且 GPU 支援直通。 QNAP 網站上通常提供相容性清單。雖然目前的相容性清單並未正式支援 NVIDIA A4000，但我們在功能上沒有遇到任何問題。

2.安裝GPU

• 關閉 NAS 電源並斷開其電源。開啟機箱並將 GPU 插入可用的 PCIe 插槽。將所有必要的電源線連接到 GPU。關上機箱，重新連接電源，然後開啟 NAS。

3. 更新您的 QNAP 韌體和軟體

確保您的 QNAP NAS 正在執行最新版本的 QTS（QNAP 作業系統）。我們使用了 QNAP 公測版 Virtualization Station 4，為 GPU 工作提供更好的支援和效能。 Virtualization Station 4 是一個自安裝軟體包，與其他直接透過 QNAP App Center 安裝的軟體包不同。

4. 在虛擬機器上安裝作業系統

在 NAS 上安裝 QNAP Virtualization Station 後，您可以進入管理介面來部署虛擬機器 (VM)。當您按一下「建立」時，將出現一個提示窗口，要求您提供虛擬機器名稱並選擇虛擬機器在 NAS 上運行的位置。在大多數情況下，您可能需要對作業系統和版本資訊進行一些細微調整。

接下來，調整虛擬機器在來賓作業系統層級看到的資源和 CPU 相容性類型。在我們的範例中，我們為 VM 提供了 64GB 記憶體和 8 個 CPU。我們為此型號選擇了直通CPU類型，並將BIOS更改為UEFI。

要引導和安裝作業系統，您必須上傳 ISO 檔案並將其掛載為虛擬 CD/DVD 磁碟機。安裝程序完成後，啟用 RDP 進行管理，然後再繼續下一步。一旦啟用 GPU 直通，QNAP 虛擬機器管理功能就會發生變化，而 RDP 可以顯著簡化此流程。此時，關閉虛擬機器。

5.配置GPU直通

在虛擬化站內：

1. 關閉現有 VM 後，編輯您的 VM。
2. 在虛擬機器設定選單中，尋找實體設備標籤。從此處選擇 PCIe。您將看到可用於直通的設備。在我們的例子中，它是 NVIDIA RTX A4000。應用此更改。
3. 如果您需要為虛擬機器分配其他資源，例如 CPU 核心、RAM 和存儲，現在就是這樣做的時候了。
4. 重新開啟虛擬機器。

6. 在虛擬機器中安裝GPU驅動

使用連接了 GPU 的 RDP 返回虛擬機器後，為虛擬機器中的 GPU 下載並安裝適當的驅動程式。此步驟對於 GPU 正常運作並提供預期的效能改進至關重要。

7. 驗證 GPU 直通功能

安裝驅動程式後，驗證 GPU 是否在虛擬機器中被識別並正常運作。您可以使用Windows中的裝置管理員或Linux中的相關命令列工具來查看GPU狀態。

故障排除和提示

• 兼容性： 檢查 QNAP 和 GPU 製造商的網站，以了解可能影響直通功能的任何特定相容性說明或韌體更新。
• 性能： 監控虛擬機器的效能並根據需要調整資源分配。確保您的 NAS 有足夠的冷卻空間，尤其是在添加高效能 GPU 後。
• 網路和儲存： 最佳化網路設定和儲存配置，以避免可能影響虛擬機器應用程式效能的瓶頸。

NVIDIA 與 RTX 聊天 – 私人聊天GPT

雖然很容易就到此為止（創建具有GPU 存取權限的Windows 虛擬機），但我們在此實驗中進一步推進，為企業提供一種獨特的方式來安全可靠地利用AI，充分利用基於NVMe 的NAS 的性能。在我們的案例中，虛擬機器利用了 RAID5 保護的存儲，提供了 9.4GB/s 的讀取效能和 2.1GB/s 的寫入效能。

NVIDIA最近推出了一個名為 與 RTX 聊天。 Chat with RTX 透過將基於 GPT 的大語言模型 (LLM) 與本地獨特的資料集整合來提供客製化體驗，從而徹底改變了 AI 互動。這包括處理文件、筆記、多媒體、YouTube 影片、播放清單等的能力。

此交鑰匙應用程式利用檢索增強產生 (RAG) 的強大功能，結合 TensorRT 優化的 LLM 的效率和 RTX 加速的高速功能。這些可提供快速且高度相關的上下文感知響應。此設定直接在 Windows RTX 桌面或工作站上運行，可確保快速存取資訊以及高度的隱私和安全性，因為所有處理均在本機處理。

實施具有 RAG 功能的法學碩士為優先考慮隱私、安全和個人化效率的商業專業人士和高級用戶提供了出色的解決方案。與 ChatGPT 等透過 Internet 處理查詢的公共模型不同，本地 LLM 完全在 QNAP NAS 的範圍內運作。

此離線功能可確保所有互動都保持私密且安全。這使得用戶可以根據自己的特定需求自訂人工智慧的知識庫，無論是機密的公司文件、專業資料庫還是個人筆記。這種方法顯著增強了人工智慧回應的相關性和速度，使其成為那些需要即時、上下文感知洞察而又不損害隱私或資料安全的人的寶貴工具。

另外值得注意的是，這可能是顯而易見的，在 NAS 中加入 GPU 直接簡化了公司資料和 LLM 之間的連結。無需行動數據即可利用此特定模型，且該流程就像將中階 GPU 放入 NAS 一樣簡單且經濟高效。此外，目前所有這些軟體都是免費的，這極大地促進了小型組織的人工智慧潛力的民主化。

Chat with RTX 仍然是一個測試版程序，在撰寫本文時，我們使用的是 0.2 版本。但安裝它以及啟動和運行 Web 介面的便利性令人耳目一新。任何知道如何下載和安裝應用程式的人現在只需點擊幾下即可獲得運行 RAG 的本地法學碩士。

透過通用 URL 實現遠端存取與 RTX 聊天

我們將我們的場景提升到了一個新的水平，並使其可供整個辦公室使用。

第 1 步：找到設定檔

首先前往包含設定檔的資料夾：

• 文件路徑： C:\Users\{YourUserDir}\AppData\Local\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\ui\user_interface.py

第 2 步：更新啟動程式碼

打開 user_interface.py 文件和 Ctrl-F interface.launch 找到正確的段，預設會顯示如下：

interface.launch(
    favicon_path=os.path.join(os.path.dirname(__file__), 'assets/nvidia_logo.png'),
    show_api=False,
    server_port=port
)

要啟用網路訪問，您必須添加 share=True 像這樣：

interface.launch(
    favicon_path=os.path.join(os.path.dirname(__file__), 'assets/nvidia_logo.png'),
    show_api=False,
    share=True,
    server_port=port
)

將修改儲存到 user_interface.py 文件。然後，透過「開始」功能表啟動 Chat with RTX，這將啟動命令提示字元視窗並啟動介面。

第 3 步：尋找公共 URL

命令提示字元視窗將顯示本機 URL 和公用 URL。若要製作可從任何裝置存取的功能性公用 URL，請合併兩個 URL 中的元素。最好採用公用 URL 並將本機 cookie 資訊新增至其結尾：

• 公共網址： https://62e1db9de99021560f.gradio.live
• 帶有參數的本機 URL： http://127.0.0.1:16852?cookie=4a56dd55-72a1-49c1-a6de-453fc5dba8f3&__theme=dark

您的組合 URL 應如下所示，並將 ?cookie 附加到公用 URL：

https://62e1db9de99021560f.gradio.live?cookie=4a56dd55-72a1-49c1-a6de-453fc5dba8f3&__theme=dark

此 URL 允許從網路上的任何裝置存取 Chat with RTX，從而將其可用性擴展到本機限制之外。

最後的思考

長期以來，我們一直擁護 QNAP 在 NAS 硬體設計方面的領先地位，但 QNAP 客戶可以獲得的價值遠比他們想像的要多。說實話，虛擬化站是一個很好的起點，但為什麼不將其提升到一個新的水平並嘗試 GPU 直通呢？如果不出意外的話，組織可以向組織提供高階 GPU 驅動的虛擬機，而無需設定專用工作站。虛擬機器位於具有本機效能等級的大型內部儲存池旁邊，還有明顯的好處。在這種情況下，我們的共享儲存效能接近 10GB/s，無需擔心單一 100GbE 連接或交換機，這一切都是因為 GPU 加速的虛擬機位於 NAS 本身內部。

為什麼不更進一步認識人工智慧為組織帶來的好處呢？我們已經證明，為 QNAP NAS 添加合適的 GPU 相對簡單且便宜。我們將 A4000 投入使用，市場價格約為 1050 美元，考慮到 Virtualization Station 是免費的並且 NVIDIA Chat with RTX 是免費的，這還不錯。能夠安全地將這個強大的法學碩士指向公司的私人資料應該提供可操作的見解，同時使公司更具活力。

這裡要考慮的另一個面向是 QNAP 系統本身外部模型的檔案儲存。這對於需要快速儲存工作資料的小型企業來說是理想的選擇。憑藉先進的網路功能，您可以使用 NAS 作為在更大的 GPU 伺服器上保存 RAG 工作資料的位置，從而實現可輕鬆共享的資料儲存並從中進行推斷。

這只是人工智慧的一個例子。該行業正在快速發展，因此將繼續提供可用的工具。智慧企業必須學會利用人工智慧，而 QNAP 的這個簡單功能是一個很好的入門方式。

QNAP 虛擬化工作站

參與 StorageReview

電子報 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | 的TikTok | RSS訂閱