QNAP NAS 플랫폼은 동급에서 가장 독특하고 유능한 하드웨어 설계를 갖추고 있습니다. 그래서 하나에 GPU를 추가하고 AI 성능을 테스트했습니다.
QNAP는 하드웨어 설계로 잘 알려져 있을 뿐만 아니라 해당 카테고리의 다른 어느 회사보다 하드웨어 설계에 더 많은 성능, 확장성 및 유연성을 제공합니다. 최근에 우리는 다음을 검토했습니다. TS-h1290FX, AMD EPYC 12P CPU(7302C/16T), 32GB DRAM, 256GbE 온보드 및 많은 PCI 슬롯을 갖춘 25 NVMe NAS. 그 모든 억눌린 힘과 기내 앱, GPU를 추가하고 개인 ChatGPT와 같은 AI 실행과 관련하여 이 NAS를 얼마나 멀리 밀어붙일 수 있는지 확인하면 어떻게 될까요?
AI를 위한 NAS 스토리지 잠재력
QNAP TS-h1290FX AI에 진출하려는 기업에 많은 것을 제공할 수 있습니다. NAS는 내부 GPU를 지원할 수 있고 대용량 저장 공간을 확보할 수 있다는 점에서 고유한 이점을 제공합니다. 대규모 AI 모델에는 효율적으로 저장하고 액세스해야 하는 상당한 양의 데이터가 필요합니다. 이는 하드 드라이브를 사용하는 스토리지 플랫폼의 경우 어려울 수 있지만 U.1290 NVMe를 지원하는 TS-h2FX는 모든 것을 다룹니다.
대용량 NAS를 생각할 때 가장 먼저 떠오르는 것은 3.5TB의 드라이브를 지원하는 24인치 HDD 플랫폼입니다. 큰 것 같지만 QLC U.2 SSD에서 찾을 수 있는 것과 비교하면 아무것도 아닙니다. QNAP는 최근에 대한 지원을 추가했습니다. 솔리드다임 P5336 드라이브당 최대 61.44TB의 놀라운 용량을 제공합니다. TS-h12FX와 같은 1290베이 모델의 경우 고객은 데이터 감소가 시작되기 전에 최대 737TB의 원시 스토리지를 확보할 수 있습니다. 컴팩트한 데스크톱 설치 공간 NAS의 경우 이와 경쟁할 수 있는 시스템이 거의 없습니다.
기업이 빠르게 AI를 채택함에 따라 AI 워크플로우를 위한 스토리지 용량을 제공하고 모델을 실행할 수 있는 시스템을 갖추는 것은 큰 이점입니다. 하지만 인상적인 점은 이 QNAP NAS가 SMB 또는 SME 환경 전체에서 스토리지를 공유하는 주요 업무를 계속 처리하면서 이러한 AI 작업 흐름을 실행할 수 있다는 것입니다.
또한 AI는 단일한 것이 아니라고 말해야 합니다. 다양한 AI 프로젝트에는 이를 지원하기 위해 다양한 유형의 스토리지가 필요합니다. 여기서는 데스크탑 장치에 초점을 맞추고 있지만 QNAP에는 여기에서 다룬 것보다 더 야심 찬 AI 요구 사항을 지원하는 데 중요한 요소인 고속 플래시 및 네트워킹을 지원하는 다른 NAS 시스템이 많이 있습니다.
QNAP는 GPU를 어떻게 지원합니까?
QNAP는 많은 NAS 시스템에서 GPU를 지원합니다. 또한 GPU를 지원하는 몇 가지 앱도 있습니다. 이 기사에서는 주로 Virtualization Station의 렌즈를 통해 GPU를 살펴보겠습니다. Virtualization Station은 사용자가 다양한 가상 머신을 생성할 수 있게 해주는 QNAP NAS용 하이퍼바이저입니다. Virtualization Station에는 VM 백업, 스냅샷, 복제, 그리고 가장 중요하게는 이 기사의 맥락에 따른 GPU 패스스루를 지원하는 심층적인 기능 세트도 있습니다.
테스트 장치 내부에 QNAP TS-h1290FX에는 확장을 위해 사용 가능한 여러 PCIe 슬롯이 있는 일반적인 서버 보드가 장착되어 있습니다. QNAP은 또한 섀시 내부에 필요한 GPU 전원 케이블을 제공하므로 PCIe 슬롯 전원 이상이 필요한 카드에 대해 재미있는 사업이 필요하지 않습니다. 우리는 단일 슬롯 NVIDIA RTX A4000이 적절한 냉각 공간에 완벽하게 들어맞는다는 사실을 발견했습니다. 이 플랫폼에서는 활성 쿨러가 있는 GPU가 선호됩니다. GPU 선택은 작업 부하와 NAS가 물리적으로 지원하고 냉각할 수 있는 것에 따라 결정됩니다.
AI용 QNAP 구성
QNAP NAS 장치에서 GPU 패스스루를 사용하여 가상 머신(VM)을 설정하려면 여러 단계가 필요합니다. QNAP가 필요합니다 가상화를 지원하는 NAS 필요한 하드웨어 기능을 갖추고 있습니다. 다음은 GPU 패스스루로 QNAP NAS를 설정하고 구성하는 방법에 대한 가이드입니다.
1. 하드웨어 호환성 확인
QNAP NAS가 QNAP의 가상화 애플리케이션인 Virtualization Station을 지원하는지 확인하십시오.
- NAS에 GPU용으로 사용 가능한 PCIe 슬롯이 있고 GPU가 패스스루를 지원하는지 확인하십시오. QNAP 웹사이트에서 호환성 목록을 확인할 수 있는 경우가 많습니다. 현재 호환성 목록은 NVIDIA A4000을 공식적으로 지원하지 않지만 기능에는 문제가 없었습니다.
2. GPU 설치
- NAS의 전원을 끄고 전원에서 연결을 끊습니다. 케이스를 열고 GPU를 사용 가능한 PCIe 슬롯에 삽입합니다. 필요한 전원 케이블을 GPU에 연결합니다. 케이스를 닫고 전원을 다시 연결한 후 NAS의 전원을 켜세요.
3. QNAP 펌웨어 및 소프트웨어 업데이트
QNAP NAS가 최신 버전의 QTS(QNAP 운영 체제)를 실행하고 있는지 확인하십시오. 우리는 GPU 작업에 대한 더 나은 지원과 성능을 제공하기 위해 QNAP 오픈 베타인 Virtualization Station 4를 사용했습니다. Virtualization Station 4는 QNAP App Center를 통해 직접 설치되는 다른 패키지와 달리 자체 설치 패키지입니다.
4. VM에 운영 체제 설치
NAS에 QNAP의 Virtualization Station을 설치한 후 관리 인터페이스로 이동하여 가상 머신(VM)을 배포할 수 있습니다. "만들기"를 클릭하면 VM 이름을 제공하고 VM이 실행될 NAS의 위치를 선택하라는 메시지 창이 나타납니다. 대부분의 경우 OS 및 버전 정보를 약간 조정해야 할 수도 있습니다.
다음으로 VM이 게스트 OS 수준에서 볼 수 있는 리소스 및 CPU 호환성 유형을 조정합니다. 우리의 경우 VM에 64GB의 메모리와 8개의 CPU를 제공했습니다. 해당 모델의 패스스루 CPU 유형을 선택하고 BIOS를 UEFI로 변경했습니다.
OS를 부팅하고 설치하려면 ISO 파일을 가상 CD/DVD 드라이브로 업로드하고 마운트해야 합니다. 설치 프로세스가 완료되면 다음 단계로 진행하기 전에 관리용 RDP를 활성화하세요. GPU 패스스루가 활성화되면 QNAP VM 관리 기능이 변경되며 RDP는 이 프로세스를 크게 단순화합니다. 이 시점에서 VM을 끄십시오.
5. GPU 패스스루 구성
Virtualization Station 내:
- 기존 VM의 전원이 꺼진 상태에서 VM을 편집합니다.
- VM 설정 메뉴에서 물리적 장치 탭을 찾으세요. 여기에서 PCIe를 선택합니다. 패스스루에 사용 가능한 장치가 표시됩니다. 우리의 경우에는 NVIDIA RTX A4000이었습니다. 이 변경 사항을 적용합니다.
- CPU 코어, RAM, 스토리지 등 VM에 다른 리소스를 할당해야 한다면 지금이 바로 그렇게 할 때입니다.
- VM을 다시 켜십시오.
6. VM에 GPU 드라이버 설치
GPU가 연결된 RDP를 사용하여 VM으로 돌아오면 VM 내에서 GPU에 적합한 드라이버를 다운로드하여 설치합니다. 이 단계는 GPU가 올바르게 작동하고 예상되는 성능 향상을 제공하는 데 중요합니다.
7. GPU 패스스루 기능 확인
드라이버를 설치한 후 GPU가 VM 내에서 올바르게 인식되고 작동하는지 확인합니다. Windows의 장치 관리자나 Linux의 관련 명령줄 도구를 사용하여 GPU 상태를 확인할 수 있습니다.
문제 해결 및 팁
- 호환성 : 패스스루 기능에 영향을 줄 수 있는 특정 호환성 참고 사항이나 펌웨어 업데이트에 대해서는 QNAP 및 GPU 제조업체의 웹사이트를 확인하십시오.
- 성능 : VM 성능을 모니터링하고 필요에 따라 리소스 할당을 조정합니다. 특히 고성능 GPU를 추가한 후에는 NAS에 냉각을 위한 충분한 공간이 있는지 확인하십시오.
- 네트워킹 및 스토리지: VM 애플리케이션의 성능에 영향을 미칠 수 있는 병목 현상을 방지하려면 네트워크 설정 및 스토리지 구성을 최적화하십시오.
RTX를 통한 NVIDIA 채팅 – 비공개 채팅GPT
여기에서 멈추기는 쉽지만(GPU 액세스가 가능한 Windows VM 생성), 우리는 기업이 NVMe 기반 NAS의 성능을 활용하여 AI를 안전하게 활용할 수 있는 고유한 방법을 제공하기 위해 이 실험을 더욱 발전시켰습니다. 우리의 경우 VM은 5GB/s 읽기 및 9.4GB/s 쓰기 성능을 제공하는 RAID2.1 보호 스토리지를 활용했습니다.
NVIDIA는 최근 다음과 같은 소프트웨어 패키지를 출시했습니다. RTX와 채팅. Chat with RTX는 GPT 기반 LLM(대형 언어 모델)과 로컬 고유 데이터세트의 통합을 통해 맞춤형 경험을 제공함으로써 AI 상호작용에 혁신을 가져옵니다. 여기에는 문서, 메모, 멀티미디어, YouTube 비디오, 재생 목록 등을 처리하는 기능이 포함됩니다.
이 턴키 애플리케이션은 TensorRT에 최적화된 LLM의 효율성 및 RTX 가속의 고속 기능과 결합된 검색 증강 생성(RAG)의 성능을 활용합니다. 이는 신속하고 관련성이 높은 상황 인식 응답을 제공합니다. Windows RTX 데스크톱 또는 워크스테이션에서 직접 작동하는 이 설정은 모든 처리가 로컬에서 처리되므로 정보에 대한 신속한 액세스와 높은 수준의 개인 정보 보호 및 보안을 보장합니다.
RAG 기능을 갖춘 LLM을 구현하면 개인 정보 보호, 보안 및 개인화된 효율성을 우선시하는 비즈니스 전문가 및 고급 사용자에게 탁월한 솔루션을 제공합니다. 인터넷을 통해 쿼리를 처리하는 ChatGPT와 같은 공개 모델과 달리 로컬 LLM은 전적으로 QNAP NAS 범위 내에서 작동합니다.
이 오프라인 기능은 모든 상호 작용이 비공개로 안전하게 유지되도록 보장합니다. 이를 통해 사용자는 기업 기밀 문서, 전문 데이터베이스, 개인 메모 등 특정 요구 사항에 맞게 AI의 지식 기반을 맞춤 설정할 수 있습니다. 이 접근 방식은 AI 응답의 관련성과 속도를 크게 향상시켜 개인 정보 보호나 데이터 보안을 손상시키지 않고 즉각적이고 상황에 맞는 통찰력이 필요한 사람들에게 귀중한 도구가 됩니다.
또한 주목할 만한 점은 NAS에 GPU를 추가하면 회사 데이터와 LLM 간의 연결이 직접 단순화된다는 점입니다. 이 특정 모델을 활용하기 위해 데이터를 이동할 필요가 없으며 프로세스는 미드레인지 GPU를 NAS에 추가하는 것만큼 간단하고 비용 효율적입니다. 또한 현 시점에서는 이 소프트웨어가 모두 무료이므로 소규모 조직을 위한 AI의 잠재력이 크게 민주화됩니다.
Chat with RTX는 아직 베타 프로그램이며, 글을 쓰는 시점에는 버전 0.2를 사용했습니다. 그러나 설치가 쉽고 웹 인터페이스를 시작하고 실행하는 것이 매우 간편했습니다. 애플리케이션을 다운로드하고 설치하는 방법을 아는 사람은 이제 몇 번의 클릭만으로 RAG가 실행되는 로컬 LLM을 얻을 수 있습니다.
보편적으로 액세스 가능한 URL을 통해 RTX로 채팅에 대한 원격 액세스 활성화
우리는 시나리오를 한 단계 더 발전시켜 사무실 전체에서 사용할 수 있도록 만들었습니다.
1단계: 구성 파일 찾기
구성 파일이 있는 폴더로 이동하여 시작하세요.
- 파일 경로:
C:\Users\{YourUserDir}\AppData\Local\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\ui\user_interface.py
2단계: 실행 코드 업데이트
열기 user_interface.py 파일 및 Ctrl-F interface.launch 기본적으로 다음과 같이 표시되는 올바른 세그먼트를 찾습니다.
interface.launch(
favicon_path=os.path.join(os.path.dirname(__file__), 'assets/nvidia_logo.png'),
show_api=False,
server_port=port
)네트워크 액세스를 활성화하려면 다음을 추가해야 합니다. share=True 이렇게 :
interface.launch(
favicon_path=os.path.join(os.path.dirname(__file__), 'assets/nvidia_logo.png'),
show_api=False,
share=True,
server_port=port
)수정 사항을 user_interface.py 파일. 그런 다음 시작 메뉴를 통해 Chat with RTX를 실행하면 명령 프롬프트 창이 시작되고 인터페이스가 활성화됩니다.
3단계: 공개 URL 찾기
명령 프롬프트 창에는 로컬 URL과 공용 URL이 모두 표시됩니다. 모든 장치에서 액세스할 수 있는 기능적 공개 URL을 만들려면 두 URL의 요소를 병합하세요. 공개 URL을 가져와서 끝에 로컬 쿠키 정보를 추가하는 것이 가장 좋습니다.
- 공개 URL:
https://62e1db9de99021560f.gradio.live - 매개변수가 있는 로컬 URL:
http://127.0.0.1:16852?cookie=4a56dd55-72a1-49c1-a6de-453fc5dba8f3&__theme=dark
결합된 URL은 공개 URL에 ?cookie가 추가되어 다음과 같아야 합니다.
https://62e1db9de99021560f.gradio.live?cookie=4a56dd55-72a1-49c1-a6de-453fc5dba8f3&__theme=dark
이 URL은 네트워크의 모든 장치에서 Chat with RTX에 대한 액세스 권한을 부여하여 로컬 제약을 넘어 가용성을 확장합니다.
최종 생각
우리는 오랫동안 NAS 하드웨어 설계에 있어서 QNAP의 리더십을 지지해 왔습니다. 하지만 QNAP 고객이 알고 있는 것보다 훨씬 더 많은 가치를 얻을 수 있습니다. 사실, Virtualization Station은 훌륭한 출발점입니다. 하지만 한 단계 더 발전하여 GPU 패스스루를 사용해 보는 것은 어떨까요? 다른 것이 없다면 조직은 전용 워크스테이션을 설정하지 않고도 고급 GPU 기반 VM을 조직에 제공할 수 있습니다. 기본 성능 수준을 갖춘 대규모 내부 스토리지 풀 옆에 VM이 있으면 명백한 이점도 있습니다. 이 경우 단일 10GbE 연결이나 스위치에 대한 걱정 없이 거의 100GB/s의 공유 스토리지 성능을 얻을 수 있었는데, 이는 모두 GPU 가속 VM이 NAS 자체 내부에 있었기 때문입니다.
조직을 위한 AI의 이점을 실현하기 위해 한 단계 더 나아가는 것은 어떨까요? 우리는 QNAP NAS에 적절한 GPU를 추가하는 것이 상대적으로 쉽고 저렴하다는 것을 보여주었습니다. 우리는 A4000을 작동시켰고 시중 가격은 약 $1050입니다. Virtualization Station이 무료이고 NVIDIA Chat with RTX가 무료로 제공된다는 점을 고려하면 나쁘지 않습니다. 이 강력한 LLM을 회사의 개인 데이터에 안전하게 지정할 수 있으면 실행 가능한 통찰력을 제공하는 동시에 회사를 더욱 역동적으로 만들 수 있습니다.
여기서 고려해야 할 또 다른 관점은 QNAP 시스템 자체 외부에 있을 수 있는 모델용 파일 저장소입니다. 이는 작업 데이터를 저장할 빠른 장소가 필요한 소규모 기업에 이상적입니다. 고급 네트워킹 기능을 사용하면 NAS를 더 큰 GPU 서버에서 RAG 작업을 위한 데이터를 보관하는 장소로 사용할 수 있으므로 추론할 수 있는 데이터 저장소를 쉽게 공유할 수 있습니다.
이것은 단지 하나의 AI 예일 뿐입니다. 업계는 빠르게 변화하고 있으므로 도구는 계속해서 제공될 것입니다. 지능형 기업은 AI를 활용하는 방법을 배워야 하며, QNAP의 이 간단한 기능은 시작하는 좋은 방법입니다.
StorageReview에 참여
뉴스레터 | 유튜브 | 팟캐스트 iTunes/스포티 파이 | 인스타그램 | 트위터 | 틱톡 서비스 | RSS 피드
