엣지 AI의 최전선에 있는 NVIDIA의 Jetson Orin Nano Super Developer Kit은 기존 데이터 센터 외부의 AI 애플리케이션을 위한 강력한 솔루션을 제공합니다. AI 애호가와 전문가를 위한 강력하고 저렴한 도구입니다.
Jetson Orin Nano Super는 정교한 AI 기능을 엣지 디바이스에 제공하는 소형 컴퓨팅 파워하우스입니다. 성능과 경제성, 견고한 통합 옵션이 결합되어 프로토타입 제작 및 상용 제품 개발에 이상적인 후보입니다. 로봇 키트에 사용하든 대형 기계에 통합하든 유연한 설계 덕분에 엔지니어는 효율성과 낮은 전력 소비가 필요한 시나리오에서 AI를 배포할 수 있습니다. 가격은 단 249달러입니다.
Jetson 플랫폼은 엣지 배포를 위해 특별히 설계되어 공간이나 전력이 제한된 환경의 프로젝트에서도 하이엔드 AI 성능을 활용할 수 있습니다. 확장 가능한 폼 팩터와 광범위한 연결 옵션을 통해 로봇 공학, 스마트 감시, 심지어 야생 동물 보호 분야에서 혁신적인 솔루션으로 가는 관문을 제공합니다.
이 어플리케이션에는 XNUMXµm 및 XNUMXµm 파장에서 최대 XNUMXW의 평균 출력을 제공하는 제트슨 오린 나노 슈퍼 는 클래식 프로그래밍을 사용하는 기존 로봇 키트에서든 ROS(로봇 운영 체제)와 같은 프레임워크를 특징으로 하는 보다 고급 설정에서든 엣지에서 AI가 필요한 프로젝트를 구축하는 것으로 잘 알려져 있습니다. 완전한 개발자 키트와 독립형 SoC 도터보드로 제공되므로 광범위한 제품 및 기계에 원활하게 통합할 수 있습니다. 이러한 다재다능함 덕분에 소규모 교육 프로젝트에서 본격적인 산업 배포에 이르기까지 다양한 애플리케이션에서 인기가 있습니다.
Jetson Orin Nano Super Developer Kit 사양
Jetson Orin Nano Super는 인상적인 기능을 컴팩트한 폼 팩터에 담았습니다. 6코어 Arm Cortex-A78AE CPU는 컴퓨팅을 위한 견고한 기반을 구축하는 반면, Tensor Cores가 있는 1024코어 NVIDIA Ampere GPU는 딥 러닝 및 컴퓨터 비전 작업을 포함한 다양한 워크로드를 가속화합니다. 67 TOPS(Tera Operations Per Second)의 AI 성능과 고대역폭 8GB LPDDR5 메모리를 갖춘 이 플랫폼은 에지에서 복잡한 작업을 수행하도록 설계되었습니다.
| 스펙 | 세부 정보 |
|---|---|
| CPU | 6코어 Arm Cortex-A78AE v8.2 64비트 CPU, 3MB L2 + 4MB L3 |
| GPU | 1024개의 Tensor 코어를 탑재한 32코어 NVIDIA Ampere 아키텍처 GPU |
| AI 성능 | 67 상단 |
| 메모리 | 8GB 128비트 LPDDR5 102GB/s |
| 스토리지 | 16GB eMMC 5.1, microSD, M.2 Key M NVMe SSD 지원 x1 PCIe Gen2가 있는 4x M.3 Key M 슬롯 x1 PCIe Gen2가 있는 2x M.3 Key M 슬롯 |
| 네트워킹 | 1x 기가비트 이더넷 |
| 디스플레이 | 1x HDMI, 1x eDP 1.4 |
| 입/출력 라인 | 4x USB 3.2 Type A 포트, 1x USB Type C 포트 |
| 전원 입력 | DC 배럴 잭은 7V~20V 전원을 수용합니다. |
| 카메라 | 2x MIPI CSI 카메라 커넥터 |
| 확장 | 40핀 GPIO 확장 헤더 |
| 전력 소비 | 7W – 25W 구성 가능 |
| 운영체제 | NVIDIA JetPack SDK를 탑재한 Linux Ubuntu 기반 |
| 크기 | 103mm X X 90.5mm 34.77mm |
연결 옵션이 풍부하여 Nano Super는 다양한 애플리케이션에 매우 다재다능합니다. 3.2개의 USB XNUMX Type-A 포트와 USB Type-C 포트를 사용하면 외부 저장 장치에서 입력 장치나 센서에 이르기까지 다양한 주변 장치를 쉽게 연결할 수 있습니다. 통합 기가비트 이더넷은 안정적인 네트워킹을 보장하고, 듀얼 MIPI CSI 카메라 커넥터를 통해 두 대의 카메라를 통합할 수 있습니다. 이 기능은 정확한 환경 매핑이 중요한 로봇 및 자율 시스템에 필수적인 깊이 인식이 필요한 애플리케이션에 특히 유용합니다.
저장 기능에는 16GB eMMC 5.1, microSD, PCIe Gen2 연결이 있는 전용 슬롯을 통한 듀얼 M.3 NVMe SSD 지원이 포함됩니다. 이를 통해 운영 체제, 소프트웨어 및 데이터 세트에 충분한 저장 공간을 제공하고 실시간 분석 및 AI 추론 작업에 필요한 고속 데이터 전송을 지원합니다. 또한 HDMI 및 eDP 1.4 인터페이스를 포함하여 Nano Super는 디스플레이를 지원하여 키오스크와 같은 애플리케이션이나 디지털 사이니지에 이상적입니다.
나노 슈퍼를 한계까지 밀어붙이기: 에지에서의 LLM 추론
Nano Super와 함께 한 우리의 작업은 AI 개발 작업, 특히 대규모 언어 모델(LLM) 추론을 수행하는 잠재력을 탐구하는 데 집중했습니다. 우리는 온보드 메모리 제한이 수십억 개의 매개변수가 있는 모델을 실행하는 데 어려움을 준다는 것을 인식했기 때문에 이러한 제약을 우회하는 혁신적인 접근 방식을 구현했습니다. 일반적으로 Nano Super의 8GB 그래픽 메모리는 더 작은 모델로 기능을 제한하지만, 우리는 기존에 적합했던 것보다 45배 더 큰 모델을 실행하는 것을 목표로 했습니다.
새롭게 출시된 Nano Super의 스토리지를 통합하여 업그레이드했습니다. 솔리드다임 D5-P5336 122.88TB SSD데이터 센터 환경을 위해 설계된 초고용량 NVMe 드라이브로 야심찬 작업을 지원합니다.
이 어플리케이션에는 XNUMXµm 및 XNUMXµm 파장에서 최대 XNUMXW의 평균 출력을 제공하는 솔리드다임 122TB D5-P5336 SSD 데이터 집약적 워크로드, 특히 AI 및 데이터 센터를 위한 획기적인 스토리지 솔루션입니다. 자세한 사양은 다음과 같습니다.
- 생산 능력: 122.88TB
- Technology: 쿼드레벨셀(QLC) 낸드
- 인터페이스: 4세대 PCIe x4
- 퍼포먼스: 이전 모델에 비해 데이터 집약적 작업에서 최대 15% 더 우수함
- 폼 팩터: U.2 카드 한 벌 크기 정도
- 고객 사례: AI 훈련, 데이터 수집, 미디어 캡처, 트랜스코딩에 이상적
실적 측정 항목
- 순차 읽기 / 쓰기 속도: 최대 7.1GB/s(읽기) 및 3.3GB/s(쓰기)
- 무작위 성능: 최대 1,269,000 IOPS
수명 지표
- 지구력: Solidigm 122TB SSD는 데이터 집약적 워크로드를 위해 설계되었으며 높은 내구성 등급을 제공합니다. 다음을 사용할 수 있습니다. Solidigm SSD 내구성 추정기 특정 작업 부하에 따라 예상 수명을 계산합니다.
전력 측정
- 와트당 TB=122TB25W=와트당 4.88TB/WTB=25W122TB=4.88TB/W. 이러한 전력 지표를 통해 이 드라이브는 소비 전력 4.88와트당 약 XNUMX테라바이트의 저장 용량을 제공하여 데이터 집약적 애플리케이션에 대한 효율성을 강조합니다.
Nano Super에는 M.2 NVMe 베이 3개가 포함되어 있으며, 이 리뷰의 일부로 테스트했습니다. 두 슬롯 모두 PCIe Gen30 연결을 제공하며, 2mm 슬롯은 80개의 PCIe 레인을 지원하고 4mm 슬롯은 전체 80개의 PCIe 레인을 지원합니다. 5mm 슬롯을 브레이크아웃 케이블과 페어링하여 Solidigm D5336-P122 12TB QLC SSD에 가장 많은 대역폭을 제공했습니다. USB-C 전원 케이블은 데모에 적합하지 않았기 때문에 U.3.3 드라이브에 2V와 XNUMXV를 제공하는 ATX 전원 공급 장치를 사용했습니다.
그 결과, 방대한 모델을 관리하고 엣지 AI 워크플로에서 견고한 스토리지의 역할을 강조할 수 있는 강력한 스토리지 솔루션이 탄생했습니다. 이 설정 덕분에 Hugging Face의 인기 모델 대부분을 저장하고 운반하면서도 충분한 여유 공간을 유지할 수 있었습니다.
우리는 예상보다 1배 더 큰 모델인 DeepSeek R70 45B Distilled를 그런 장치에 어떻게 실행했을까요? 이 업적을 달성하기 위해 우리는 다음을 사용했습니다. 항공 LLM, 전체 가중치 세트를 한 번에 로드하는 대신 필요에 따라 모델 계층을 메모리에 순차적으로 로드하는 프로젝트입니다. 이 계층별 접근 방식을 통해 장치의 VRAM 제한을 훨씬 초과하는 모델에 대한 추론을 수행할 수 있었습니다. 문제가 하나 있습니다. 컴퓨팅 성능입니다. 스토리지 성능 측면에서 4레인 PCIe 3 연결을 통해 NVIDIA Orin Nano는 2.5TB Solidigm D122-P5 QLC SSD에서 최대 약 5336GB/s를 끌어올 수 있었습니다. 추론 워크로드가 QLC SSD에서 작동하면서 읽기 속도는 약 1.7GB/s였습니다.
VRAM의 한계를 성공적으로 우회했지만, 여전히 67 TOPS의 성능에 머물렀습니다. 게다가 모델 크기가 확장됨에 따라 레이어 크기도 확장되어 토큰당 시간이 늘어납니다. 따라서 ChatGLM3-6B와 같은 작은 LLM에서는 초당 토큰 몇 개에서 DeepSeek R4.5 1B Distilled에서는 70분당 토큰 하나로 줄었습니다.
대용량 스토리지와 에지 AI의 실용적 응용
LLM 실험은 개념 증명에 가까웠지만, Jetson Orin Nano Super와 대용량 Solidigm 드라이브를 결합하면 실용적인 응용 프로그램이 있습니다. Jetson의 SODIMM과 같은 폼 팩터는 사용자 지정 PCB에 쉽게 통합할 수 있어 엔터프라이즈급 U.2 드라이브의 부착이 더 간단하고 타당합니다. 이 구성은 원격 또는 민감한 환경에서 장기적이고 저전력 AI 배포에 도움이 됩니다.
AI는 야생 동물 보호에 점점 더 많이 활용되고 있다. 이전 기사에서는 AI가 고슴도치 개체군 추적에 어떻게 도움이 되는지 논의했습니다.. 마찬가지로, 브리티시 컬럼비아의 원주민 국가들은 AI를 사용하여 어류 개체수를 모니터링하고 있습니다. 이러한 설비는 종종 수년간 방해받지 않고 작동해야 하며, 대용량 저장 용량, 낮은 전력 소비 및 최소한의 물리적 환경 교란이 필요합니다. 대용량 드라이브가 있는 Jetson Orin Nano Super 기반 솔루션은 15W(또는 최대 성능에서 50W)만큼 적게 소모하면서 이러한 요구 사항을 충족할 수 있습니다. 백업 배터리와 작은 태양광 패널을 사용하면 이러한 설정은 표준 데스크폰 크기가 될 수 있어 장기 사용에 간단하고 실용적입니다.
또 다른 흥미로운 사용 사례는 시스템을 모델 배포를 위한 대규모 로컬 저장소로 사용하는 것입니다. Hugging Face에서 수백 개의 모델을 다운로드하는 동안 모든 모델이 동일하지 않다는 것을 알게 되었습니다. 더 인기 있는 모델이 오래되거나 덜 인기 있는 모델보다 더 빨리 다운로드되었습니다. 그러나 모든 다운로드는 Starlink를 사용하더라도 일반적으로 에지에서 매우 느립니다. 이러한 경우 추가 NIC와 대용량 드라이브가 장착된 Nano Super와 같은 패키지는 모델을 효율적으로 에지에 재배포하기 위한 캐시 또는 중간 저장소로 완벽하게 작동합니다.
풍부한 사용 사례
상당한 저장 용량을 갖춘 NVIDIA Jetson 장치를 활용하는 매력적인 사용 사례는 다음과 같습니다.
- 자치 차량: 탐색 및 장애물 감지를 위해 방대한 양의 센서 및 카메라 데이터를 실시간으로 저장하고 처리합니다.
- 스마트 감시: 보안 및 모니터링 목적으로 여러 카메라의 고해상도 비디오 피드를 관리하고, 현장에서 영상을 저장하고 분석할 수 있습니다.
- 의료 진단: 원격지 또는 자원이 제한된 환경에서 즉각적인 진단과 치료 결정을 내리기 위해 의료 영상 데이터를 실시간으로 처리하고 저장합니다.
- 공업 자동화: AI 기반 품질 관리 및 예측적 유지 관리를 통해 공장 자동화를 강화하고, 분석 및 모델 교육을 위해 대용량 데이터 세트를 저장합니다.
- 소매 분석: 재고 수준을 최적화하고 쇼핑 경험을 개선하기 위해 고객 행동과 재고 데이터를 실시간으로 분석합니다.
- 환경 모니터링: AI를 활용하여 대기 및 수질 등의 생태 데이터를 추적하고 분석하여 보존 활동과 공중 보건 이니셔티브를 지원합니다.
- 스마트 농업: AI 기반 센서와 카메라를 사용하여 작물 건강과 토양 상태를 모니터링하여 농업 관행을 최적화하고 수확량을 늘립니다.
- 통신: 네트워크 성능을 개선하고 지연 시간을 줄이기 위해 셀 타워에서 데이터를 관리하고 처리합니다.
결론: Jetson Family에서 그 자리를 찾다
Jetson Orin Nano Super는 NVIDIA의 Jetson 라인업에서 가장 좋은 자리에 위치하며, 엣지 AI 작업에 고성능과 에너지 효율성의 균형을 제공합니다. Jetson 제품군은 기본 AI 및 로봇 애플리케이션을 위해 설계된 Jetson Nano와 같은 엔트리 레벨 모델부터 까다로운 자율 머신 워크로드에 최대 275 TOPS를 제공하는 강력한 Jetson AGX Orin까지 다양합니다. 그 사이에 Jetson Orin Nano Super는 유연한 성능 및 전력 프로필을 제공하여 전체 AGX 플랫폼의 부피 없이 더 많은 마력이 필요한 개발자에게 적합합니다.
Solidigm의 QLC SSD 라인업은 읽기 집약적 워크로드를 위해 설계된 다양한 대용량 스토리지 솔루션을 제공합니다. 이 라인업에는 최대 5TB의 스토리지와 5336TB부터 시작하는 더 작은 드라이브 용량을 갖춘 D122.88-P7.68과 같은 모델이 포함됩니다. 이러한 SSD는 성능, 밀도 및 비용 효율성에 최적화되어 콘텐츠 전송 네트워크, AI, 데이터 파이프라인 및 개체 스토리지와 같은 애플리케이션에 이상적입니다. QLC 기술을 통해 Solidigm SSD는 강력한 읽기 성능과 입증된 안정성을 유지하면서 상당한 스토리지 용량을 제공합니다.
Nano Super는 컴팩트하고 전력이 제한된 환경에 심각한 AI 기능을 제공하는 기능이 돋보입니다. 원래 Jetson Nano는 취미인과 가벼운 AI 작업에 인기가 있었지만 Nano Super는 복잡한 LLM 추론 및 기타 까다로운 AI 애플리케이션을 처리하기에 충분한 67TOPS를 제공하여 이를 한 단계 끌어올렸습니다. 이는 더 크고 전력 소모가 많은 시스템의 오버헤드 없이 에지에 정교한 AI 모델을 배포하려는 개발자에게 매력적인 옵션입니다. 122TB Solidigm D5-P5336 SSD와 같은 대용량 QLC 제품과 함께 사용하면 에지 위치에서 광범위한 AI 모델로 작동할 수 있으며 프로비저닝 후 스토리지를 교체해야 하는 용량 제약이 없습니다.
Nano Super는 249달러입니다. Raspberry Pi보다 비싸지만 성능이 훨씬 뛰어나고 필요한 모든 구성 요소가 포함되어 있습니다. 팬이 장착된 방열판을 사용하면 통풍이 잘 되지 않는 3D 인쇄 인클로저에서도 최대 전력으로 작동할 수 있습니다. 또한 전원 어댑터가 함께 제공되어 AI에 관심이 있는 사람에게 이상적입니다.
StorageReview는 새로운 122TB D5-P5336 SSD에 대한 Solidigm 팀에 감사드립니다. 이 드라이브의 용량과 속도 덕분에 많은 테스트를 완료할 수 있었습니다.
StorageReview에 참여
뉴스레터 | 유튜브 | 팟캐스트 iTunes/스포티 파이 | 인스타그램 | 트위터 | 틱톡 서비스 | RSS 피드
