도쿄의 GTC에서 NVIDIA는 새로운 AI 데이터 센터 플랫폼인 NVIDIA TensorRT 하이퍼스케일 플랫폼의 출시를 발표했습니다. 이 새로운 플랫폼은 음성, 비디오, 이미지 및 추천 서비스를 위한 가장 진보된 추론 가속기를 제공한다고 명시되어 있습니다. 이 플랫폼은 회사의 새로운 Tesla T4 GPU와 포괄적인 새로운 추론 소프트웨어 세트를 활용할 것입니다.
도쿄의 GTC에서 NVIDIA는 새로운 AI 데이터 센터 플랫폼인 NVIDIA TensorRT 하이퍼스케일 플랫폼의 출시를 발표했습니다. 이 새로운 플랫폼은 음성, 비디오, 이미지 및 추천 서비스를 위한 가장 진보된 추론 가속기를 제공한다고 명시되어 있습니다. 이 플랫폼은 회사의 새로운 Tesla T4 GPU와 포괄적인 새로운 추론 소프트웨어 세트를 활용할 것입니다.
데이터 센터는 이제 음성, 번역, 이미지, 비디오 및 다양한 소셜 미디어 상호 작용을 포함한 모든 유형의 쿼리를 처리합니다. 다양한 유형의 신경망이 필요한 이러한 다양한 질문을 모두 해결하기 위해 조직은 AI를 활용해야 합니다. NVIDIA의 새로운 TensorRT 하이퍼스케일 플랫폼은 위의 문제를 해결하기 위한 하드웨어와 소프트웨어의 조합입니다. 회사의 Turing 아키텍처를 기반으로 하는 Tesla T4 GPU를 활용하는 이 새로운 플랫폼은 엔드 투 엔드 애플리케이션을 위해 짧은 대기 시간으로 고성능을 제공할 수 있습니다.
주요 요소는 다음과 같습니다.
- NVIDIA Tesla T4 GPU – 320개의 Turing Tensor 코어와 2,560개의 CUDA 코어를 특징으로 하는 이 새로운 GPU는 FP32에서 FP16, INT8 및 INT4에 이르기까지 유연한 다중 정밀도 기능으로 획기적인 성능을 제공합니다. 대부분의 서버에 쉽게 맞는 에너지 효율적인 75와트 소형 PCIe 폼 팩터로 패키지되어 FP65의 경우 16테라플롭, INT130의 경우 8테라플롭, INT260의 경우 4테라플롭의 최고 성능을 제공합니다.
- NVIDIA TensorRT 5 – 추론 최적화 프로그램 및 런타임 엔진인 NVIDIA TensorRT 5는 튜링 텐서 코어를 지원하고 다중 정밀도 워크로드를 위한 신경망 최적화 세트를 확장합니다.
- NVIDIA TensorRT 추론 서버 – 이 컨테이너화된 마이크로서비스 소프트웨어는 애플리케이션이 데이터 센터 프로덕션에서 AI 모델을 사용할 수 있도록 합니다. NVIDIA GPU Cloud 컨테이너 레지스트리에서 무료로 사용할 수 있으며 데이터 센터 처리량과 GPU 활용도를 극대화하고 인기 있는 모든 AI 모델과 프레임워크를 지원하며 Kubernetes 및 Docker와 통합됩니다.
