NVIDIA GTC 2023은 신제품, 파트너, 혁신 및 소프트웨어를 소개하면서 시작되었습니다. 발표의 폭에 대한 아이디어를 제공하기 위해 기조 연설은 78분 동안 지속되었습니다. 각각 특정 생성 AI 추론 워크로드 및 특수 소프트웨어에 최적화된 XNUMX개의 새로운 플랫폼이 발표되었습니다.
NVIDIA GTC 2023은 신제품, 파트너, 혁신 및 소프트웨어를 소개하면서 시작되었습니다. 발표의 폭에 대한 아이디어를 제공하기 위해 기조 연설은 78분 동안 지속되었습니다. 각각 특정 생성 AI 추론 워크로드 및 특수 소프트웨어에 최적화된 XNUMX개의 새로운 플랫폼이 발표되었습니다.
이 플랫폼은 NVIDIA의 전체 추론 소프트웨어 스택을 최신 NVIDIA Ada, Hopper 및 Grace Hopper 프로세서와 결합합니다. 두 개의 새로운 GPU인 NVIDIA L4 Tensor Core GPU와 H100 NVL GPU가 오늘 출시되었습니다.
AI 비디오용 NVIDIA L4 CPU보다 120배 더 높은 AI 기반 비디오 성능과 99% 향상된 에너지 효율성을 제공합니다. L4는 거의 모든 워크로드를 위한 범용 GPU 역할을 하며 향상된 비디오 디코딩 및 트랜스코딩 기능, 비디오 스트리밍, 증강 현실, 생성 AI 비디오 등을 제공합니다.
NVIDIA Ada Lovelace L4 Tensor Core GPU는 엔터프라이즈, 클라우드 및 에지에서 비디오, AI, 가상화 데스크톱 및 그래픽 애플리케이션을 위한 범용 가속 및 에너지 효율성을 제공합니다. NVIDIA의 AI 플랫폼과 풀스택으로
접근 방식에서 L4는 추천, 음성 기반 AI 아바타 어시스턴트, 생성 AI, 시각적 검색, 컨택 센터 자동화를 포함한 광범위한 AI 애플리케이션을 위한 대규모 추론에 최적화되어 있습니다.
L4는 주류 사용을 위한 가장 효율적인 NVIDIA 가속기이며 L4가 장착된 서버는 CPU 솔루션보다 최대 120배 더 높은 AI 비디오 성능과 2.7배 더 높은 생성 AI 성능은 물론 이전 GPU 세대보다 4배 이상 더 높은 그래픽 성능을 제공합니다. NVIDIA L4는 다재다능하고 에너지 효율적인 단일 슬롯, 로우 프로파일 폼 팩터로 대규모 배포 및 에지 위치에 이상적입니다.
이미지 생성을 위한 NVIDIA L40 그래픽 및 AI 지원 2D, 비디오 및 3D 이미지 생성에 최적화되어 있습니다. L40 플랫폼은 데이터 센터에서 메타버스 애플리케이션을 구축하고 운영하기 위한 플랫폼인 NVIDIA Omniverse의 엔진 역할을 하며, 이전 세대보다 안정적인 확산을 위한 7배의 추론 성능과 12배의 Omniverse 성능을 제공합니다.
NVIDIA L40 GPU는 차세대 그래픽, 컴퓨팅 및 AI 기능을 통해 데이터 센터를 위한 고성능 비주얼 컴퓨팅을 제공합니다. NVIDIA Ada Lovelace 아키텍처를 기반으로 구축된 L40은 최신 RT, Tensor 및 CUDA 코어의 성능을 활용하여 까다로운 데이터 센터 워크로드에 대한 시각화 및 컴퓨팅 성능을 제공합니다.
L40은 향상된 처리량과 동시 레이 트레이싱 및 셰이딩 기능을 제공하여 레이 트레이싱 성능을 개선하고 제품 설계 및 아키텍처, 엔지니어링 및 건설 워크플로를 위한 렌더링을 가속화합니다. L40 GPU는 더 빠른 AI 및 데이터 과학 모델 교육을 위해 즉시 사용 가능한 성능 향상을 위해 구조적 희소성과 최적화된 TF32 형식에 대한 하드웨어 지원을 제공합니다. DLSS를 포함한 가속화된 AI 강화 그래픽 기능은 일부 응용 프로그램에서 더 나은 성능으로 업스케일링된 해상도를 제공합니다.
L40의 대용량 GPU 메모리는 3GB의 초고속 GDDR48 메모리로 데이터 사이언스, 시뮬레이션, 6D 모델링 및 렌더링과 같은 메모리 집약적인 애플리케이션 및 워크로드를 처리합니다. 메모리는 vGPU 소프트웨어를 사용하여 여러 사용자에게 할당되어 크리에이티브, 데이터 사이언스 및 디자인 팀 간에 대규모 워크로드를 분산합니다.
전력 효율적인 하드웨어 및 구성 요소로 연중무휴 엔터프라이즈 데이터 센터 운영을 위해 설계된 NVIDIA L24은 규모에 맞게 배포하고 다양한 데이터 센터 워크로드에 최대 성능을 제공하도록 최적화되었습니다. L7에는 RoT(Root of Trust) 기술을 사용한 보안 부팅이 포함되어 추가 보안 계층을 제공하고 데이터 센터 표준을 충족하는 NEBS 레벨 40을 준수합니다.
대규모 언어 모델 배포를 위한 NVIDIA H100 NVL ChatGPT와 같은 대규모 LLM을 대규모로 배포하는 데 이상적입니다. 새로운 H100 NVL은 Transformer Engine 가속 기능이 있는 94GB의 메모리와 함께 제공되며 데이터 센터 규모에서 이전 세대 A12에 비해 GPT-3에서 최대 100배 더 빠른 추론 성능을 제공합니다.
NVLink 브리지가 있는 PCIe 기반 H100 NVL은 Transformer Engine, NVLink 및 188GB HBM3 메모리를 활용하여 데이터 센터 전체에서 최적의 성능과 확장성을 제공합니다. H100 NVL은 최대 175억 매개변수의 대규모 언어 모델을 지원합니다. H100 NVL GPU가 장착된 서버는 NVIDIA DGX A175 시스템보다 GPT-12B 모델 성능을 최대 100배까지 높이는 동시에 전력이 제한된 데이터 센터 환경에서 낮은 대기 시간을 유지합니다.
권장 모델용 NVIDIA Grace Hopper 그래프 추천 모델, 벡터 데이터베이스 및 그래프 신경망에 이상적입니다. CPU와 GPU 사이의 900GB/s NVLink-C2C 연결을 통해 Grace Hopper는 PCIe Gen 7보다 5배 더 빠른 데이터 전송 및 쿼리를 제공할 수 있습니다.
NVIDIA Grace Hopper Superchip은 처음부터 대규모 AI 및 고성능 컴퓨팅(HPC) 애플리케이션을 위해 설계된 획기적인 가속 CPU입니다. 슈퍼칩은 테라바이트의 데이터를 실행하는 애플리케이션에 대해 최대 10배 더 높은 성능을 제공하여 과학자와 연구원이 세계에서 가장 복잡한 문제에 대한 전례 없는 솔루션에 도달할 수 있도록 합니다.
NVIDIA Grace Hopper Superchip은 NVIDIA NVLink-C2C를 사용하여 Grace 및 Hopper 아키텍처를 결합하여 가속화된 AI 및 HPC 애플리케이션을 위한 CPU+GPU 일관된 메모리 모델을 제공합니다. Grace Hopper는 900GB/s 코히어런트 인터페이스를 포함하고 있으며 PCIe Gen7보다 5배 더 빠르고 NVIDIA DGX A30에 비해 GPU에 100배 더 높은 총 시스템 메모리 대역폭을 제공합니다. 무엇보다도 NVIDIA HPC SDK, NVIDIA AI 및 NVIDIA Omniverse를 포함한 모든 NVIDIA 소프트웨어 스택 및 플랫폼을 실행합니다.
최신 추천 시스템 모델에는 임베딩 테이블을 저장하기 위해 상당한 양의 메모리가 필요합니다. 임베딩 테이블에는 소비자에게 더 나은 추천을 제공하는 데 도움이 되는 항목 및 사용자 기능에 대한 의미론적 표현이 포함되어 있습니다.
일반적으로 이러한 임베딩은 일부 임베딩 벡터가 다른 벡터보다 더 자주 액세스되기 때문에 사용 빈도에 대한 멱법칙 분포를 따릅니다. NVIDIA Grace Hopper는 처리량이 많은 추천 시스템 파이프라인을 지원합니다.
가장 자주 사용되는 임베딩 벡터는 HBM3 메모리에 저장하고 나머지 임베딩 벡터는 고용량 LPDDR5X 메모리에 저장합니다. NVLink C2C 상호 연결은 Hopper GPU에 로컬 LPDDR5X 메모리에 대한 고대역폭 액세스를 제공합니다. 동시에 NVLink 스위치 시스템은 이를 확장하여 NVLink 네트워크에 있는 모든 Grace Hopper Superchip의 모든 LPDDR5X 메모리에 대한 고대역폭 액세스를 Hopper GPU에 제공합니다.
StorageReview에 참여
뉴스레터 | 유튜브 | 팟캐스트 iTunes/스포티 파이 | 인스타그램 | 트위터 | 틱톡 서비스 | RSS 피드
