作為邊緣 AI 領域的先鋒，NVIDIA 的 Jetson Orin Nano 超級開發套件為傳統資料中心以外的 AI 應用提供了強大的解決方案。對於人工智慧愛好者和專業人士來說，它是一款功能強大且價格實惠的工具。
Jetson Orin Nano Super 是一款緊湊型運算強機，為邊緣裝置帶來複雜的 AI 功能。它融合了性能、經濟性和可靠的整合選項，是原型設計和商業產品開發的理想選擇。無論是用於機器人套件還是整合到大型機械中，其靈活的設計使工程師能夠在需要高效和低功耗的場景中部署人工智慧——只需 249 美元。
Jetson 平台專為邊緣部署而設計，確保在空間或電力有限的環境中的專案仍能利用高階 AI 效能。它具有可擴展的外形和廣泛的連接選項，為機器人、智慧監控甚至野生動物保護領域的創新解決方案提供了途徑。
Jetson Orin Nano 超級 因構建需要邊緣 AI 的項目而聞名，無論是使用經典編程的傳統機器人套件，還是採用 ROS（機器人操作系統）等框架的更高級設置。它可作為完整的開發套件和獨立的 SoC 子板使用，從而無縫整合到各種產品和機械中。這種多功能性使其廣泛適用於從小型教育專案到全面工業部署的各種應用。
Jetson Orin Nano 超級開發者套件規格
Jetson Orin Nano Super 將令人印象深刻的功能融入緊湊的外形中。 6 核心 Arm Cortex-A78AE CPU 為運算奠定了堅實的基礎，而具有 Tensor Cores 的 1024 核心 NVIDIA Ampere GPU 可加速各種工作負載，包括深度學習和電腦視覺任務。該平台具有 67 TOPS（每秒萬億次運算）的 AI 性能和高頻寬 8GB LPDDR5 內存，旨在在邊緣執行複雜的操作。
| 規範 | 詳細資訊 |
|---|---|
| 中央處理器 | 6 核心 Arm Cortex-A78AE v8.2 64 位元 CPU，3MB L2 + 4MB L3 |
| GPU | 1024 核心 NVIDIA Ampere 架構 GPU，具有 32 個 Tensor 核心 |
| 人工智能性能 | 67 TOPS |
| 記憶體應用 | 8GB 128 位元 LPDDR5 102GB/秒 |
| 儲存應用 | 16GB eMMC 5.1、microSD、M.2 Key M NVMe SSD 支持 1 個 M.2 Key M 插槽，附 x4 PCIe Gen3 1 個 M.2 Key M 插槽，附 x2 PCIe Gen3 |
| 網路相關 | 1x千兆以太網 |
| 顯示屏 | 1 個 HDMI，1 個 eDP 1.4 |
| 系統連結 | 4 個 USB 3.2 A 型連接埠、1 個 USB C 型連接埠 |
| 電源輸入 | DC 圓柱插孔可接受 7V 至 20V 電源 |
| 相機 | 2x MIPI CSI 相機連接器 |
| 擴展 | 40 針 GPIO 擴充接頭 |
| 電源消耗功率 | 7W – 25W 可配置 |
| 操作系統 | 基於 Linux Ubuntu，搭載 NVIDIA JetPack SDK |
| 尺寸 | 103mm x 90.5mm x 34.77mm |
連接選項豐富，使得 Nano Super 能夠靈活地用於多種應用。四個 USB 3.2 Type-A 連接埠和一個 USB Type-C 連接埠讓您可以輕鬆連接各種週邊設備，從外部儲存設備到輸入設備或感測器。整合的千兆乙太網路可確保可靠的網路連接，而雙 MIPI CSI 攝影機連接器則允許整合兩個攝影機。此功能對於需要深度感知的應用特別有益，對於精確的環境映射至關重要的機器人和自主系統來說，此功能至關重要。
儲存功能包括 16GB eMMC 5.1、microSD 和雙 M.2 NVMe SSD 支援（透過具有 PCIe Gen3 連接的專用插槽）。這為作業系統、軟體和資料集提供了充足的儲存空間，並支援即時分析和人工智慧推理任務所需的高速資料傳輸。此外，HDMI 和 eDP 1.4 介面使 Nano Super 能夠支援顯示器，使其成為類似資訊亭的應用或數位看板的理想選擇。
將 Nano Super 推向極限：邊緣的 LLM 推理
我們對 Nano Super 的研究主要集中在探索其執行 AI 開發任務的潛力，特別是大型語言模型 (LLM) 推理。我們認識到板載記憶體限制對運行具有數十億個參數的模型提出了挑戰，因此我們實施了一種創新的方法來繞過這些限制。通常情況下，Nano Super 的 8GB 圖形記憶體會限制其只能運行在較小的型號上，但我們的目標是運行一個比傳統型號大 45 倍的模型。
我們升級了 Nano Super 的存儲，整合了新推出的 Solidigm D5-P5336 122.88TB 固態硬碟這是一款專為資料中心環境設計的超高容量 NVMe 硬碟，以支援這項雄心勃勃的任務。
Solidigm 122TB D5-P5336 SSD 是一種針對資料密集型工作負載（尤其是在人工智慧和資料中心）的突破性儲存解決方案。以下是詳細規格：
- 容量：122.88TB
- 技術: 四級單元 (QLC) NAND
- 介面：第四代 PCIe x4
- 性能：與先前的型號相比，資料密集型工作負載的處理能力提升高達 15%
- 外形: U.2 大約一副牌的大小
- 使用案例：非常適合 AI 訓練、資料收集、媒體擷取和轉碼
性能指標
- 順序讀取/寫入速度：高達 7.1 GB/s（讀取）和 3.3 GB/s（寫入）
- 隨機性能：高達 1,269,000 IOPS
壽命指標
- 耐力：Solidigm 122TB SSD 專為資料密集型工作負載而設計，具有高耐用性等級。您可以使用 Solidigm SSD 耐久性評估器 根據具體工作量計算預期壽命。
功率指標
- TB 每瓦=122 TB25 W=4.88 TB/WTB 每瓦=25 W122 TB=4.88 TB/W。透過這些功率指標，該驅動器每消耗一瓦功率可提供約 4.88 兆位元組的儲存空間，凸顯了其對於資料密集型應用的效率。
Nano Super 包含兩個 M.2 NVMe 托架，我們在本次評測中對其進行了測試。兩個插槽均提供 PCIe Gen3 連接，其中 30 毫米插槽支援 2 個 PCIe 通道，而 80 毫米插槽支援完整的 4 個 PCIe 通道。我們使用 80 毫米插槽和分線電纜為 Solidigm D5-P5336 122TB QLC SSD 提供最大頻寬。我們的 USB-C 電源線還沒有準備好進行演示，所以我們使用了為 U.12 驅動器提供 3.3V 和 2V 的 ATX 電源。
結果是一個強大的儲存解決方案，使我們能夠管理大量模型，並強調了強大儲存在邊緣 AI 工作流程中的作用。這種設置使我們能夠存放和攜帶 Hugging Face 的大多數熱門型號，同時保留充足的額外空間。
我們如何在這樣的裝置上運行比預期大 1 倍的車型 DeepSeek R70 45B Distilled？為了實現這項壯舉，我們使用了 航空法學碩士，該項目根據需要按順序將模型層載入到記憶體中，而不是一次載入整個權重集。這種逐層的方法使我們能夠對遠遠超出裝置 VRAM 限制的模型進行推理。有一個問題：計算效能。在儲存效能方面，透過 4 通道 PCIe 3 連接，NVIDIA Orin Nano 可以從 2.5TB Solidigm D122-P5 QLC SSD 中提取約 5336GB/s 的速度。當我們的推理工作負載在 QLC SSD 上運行時，讀取速度徘徊在 1.7GB/s 左右。
即使我們成功繞過了 VRAM 的限制，但我們仍然只能達到 67 TOPS 的效能。此外，隨著模型尺寸的擴大，層尺寸也會擴大，這意味著每個 token 的時間會增加。因此，我們從使用較小的 LLM（例如 ChatGLM3-6B）每秒幾個令牌，到使用 DeepSeek R4.5 1B Distilled 每 70 分鐘一個令牌。
大儲存和邊緣AI的實際應用
雖然我們的 LLM 實驗更像是一個概念驗證，但將 Jetson Orin Nano Super 與大容量 Solidigm 驅動器結合起來具有實際應用。 Jetson 的 SODIMM 式外形使其易於整合到客製化 PCB 中，從而使企業級 U.2 驅動器的連接更加直接和合理。這種配置有利於在遠端或敏感環境中進行長期、低功耗的人工智慧部署。
人工智慧在野生動物保育領域的應用日益廣泛。 在之前的一篇文章中，我們討論了人工智慧如何幫助追蹤刺蝟種群。同樣，不列顛哥倫比亞省的土著民族也在使用人工智慧來監測魚類族群。這些裝置通常需要多年不受干擾地運行，需要大儲存容量、低功耗和最小的物理環境幹擾。基於 Jetson Orin Nano Super 且配備高容量驅動器的解決方案可滿足這些需求，同時耗電量僅為 15W（或在最高效能為 50W）。借助備用電池和小型太陽能電池板，這種裝置的大小可以與標準桌上型電話相當，因此不顯眼且適合長期使用。
另一個有趣的用例是將該系統用作模型分發的大型本地儲存庫。從 Hugging Face 下載數百個型號時，我們注意到並非所有型號都是相同的。更受歡迎的模型比舊的或不太受歡迎的模型下載速度更快。然而，即使使用 Starlink，所有下載在邊緣通常都非常慢。在這種情況下，配備附加 NIC 和大容量驅動器的 Nano Super 等套件可以完美地充當快取或中間記憶體，以有效地重新分配邊緣模型。
豐富的用例
以下是利用具有大量儲存容量的 NVIDIA Jetson 裝置的引人注目的用例：
- 自主車輛：即時儲存和處理大量感測器和攝影機數據，用於導航和障礙物偵測。
- 智能監控：出於安全和監控目的管理來自多個攝影機的高解析度視訊來源，並能夠在本地儲存和分析鏡頭。
- 醫療保健診斷：即時處理和儲存醫學影像數據，以便在遠端或資源有限的環境中立即做出診斷和治療決策。
- 工業自動化：透過人工智慧驅動的品質控制和預測性維護增強工廠自動化，儲存大量資料集以供分析和模型訓練。
- 零售分析：即時分析客戶行為和庫存數據，以優化庫存水準並增強購物體驗。
- 環境監測：使用人工智慧追蹤和分析空氣和水質等生態數據，以支援保護工作和公共衛生計劃。
- 智慧農業：使用人工智慧感測器和攝影機監測作物健康和土壤狀況，以優化耕作方式並提高產量。
- 電信：管理和處理手機訊號塔的數據，以提高網路效能並減少延遲。
結論：在 Jetson 家族中找到自己的位置
Jetson Orin Nano Super 是 NVIDIA Jetson 系列的最佳選擇，為邊緣 AI 任務提供了高效能和能源效率的平衡。 Jetson 系列包括入門級車型（如專為基礎 AI 和機器人應用設計的 Jetson Nano）以及功能強大的 Jetson AGX Orin，可提供高達 275 TOPS 的性能，滿足苛刻的自主機器工作負載要求。在此期間，Jetson Orin Nano Super 提供了靈活的性能和功率配置文件，滿足了需要更強大功能但又不需要整個 AGX 平台的開發人員的需求。
Solidigm 的 QLC SSD 系列提供一系列專為讀取密集型工作負載而設計的高容量儲存解決方案。該產品線包括 D5-P5336 等型號，儲存容量高達 122.88TB，較小的硬碟容量從 7.68TB 起。 這些 SSD 針對效能、密度和成本效益進行了最佳化，使其成為內容交付網路、AI、資料管道和物件儲存等應用的理想選擇。 透過 QLC 技術，Solidigm SSD 可提供龐大的儲存容量，同時保持強大的讀取效能和經過驗證的可靠性。
Nano Super 能夠將強大的 AI 功能帶入緊湊、功率受限的環境，這使得它脫穎而出。雖然最初的 Jetson Nano 受到業餘愛好者和輕量級 AI 任務的青睞，但 Nano Super 更進一步，提供了 67 TOPS，足以處理複雜的 LLM 推理和其他要求苛刻的 AI 應用。對於希望在邊緣部署複雜 AI 模型且無需承擔更大、更耗電的系統開銷的開發人員來說，這是一個極具吸引力的選擇。與高容量 QLC 產品（例如 122TB Solidigm D5-P5336 SSD）配對，它允許邊緣位置使用各種 AI 模型，並且沒有容量限制，不需要在配置後換出儲存。
Nano Super 的售價為 249 美元。雖然它比 Raspberry Pi 更貴，但它的性能明顯更好，並且包含所有必要的組件。配備風扇的散熱器使您即使在通風不良的 3D 列印外殼中也能以最大功率運作。它還配備了電源適配器，非常適合對人工智慧感興趣的人。
StorageReview 感謝 Solidigm 團隊推出全新 122TB D5-P5336 SSD。該驅動器的容量和速度使我們能夠完成大部分測試。
參與 StorageReview
電子報 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | 的TikTok | RSS訂閱
