NVIDIA は、モデルを最適化されたコンテナーとして提供する推論マイクロサービスである NVIDIA NIM の利用可能性を発表しました。これらのマイクロサービスにより、世界の 28 万人の開発者が生成 AI アプリケーションを簡単に構築できるようになります。これらのアプリケーションはクラウド、データセンター、またはワークステーションに展開できるため、開発時間を数週間から数分に大幅に短縮できます。
NVIDIA は、 エヌビディアNIM、 モデルを最適化されたコンテナーとして提供する推論マイクロサービス。これらのマイクロサービスにより、世界の 28 万人の開発者が生成 AI アプリケーションを簡単に構築できるようになります。これらのアプリケーションはクラウド、データセンター、またはワークステーションに展開できるため、開発時間を数週間から数分に大幅に短縮できます。
生成 AI アプリケーションがますます複雑になり、テキスト、画像、ビデオ、音声の生成に複数のモデルを使用することが多くなっているため、NVIDIA NIM は生成 AI をアプリケーションに統合するための標準化された方法を提供することで開発者の生産性を向上させます。 NIM を使用すると、従来の方法よりも高速化されたインフラストラクチャ上で最大 3 倍の生成 AI トークンを使用して Meta Llama 8-XNUMXB を実行できる機能によって、企業はインフラストラクチャへの投資を最大限に活用できます。この効率の向上により、企業は同じコンピューティング リソースでより多くの応答を生成できるようになります。
幅広い業界での採用
Cadence、Cloudera、Cohesity、DataStax、NetApp、Scale AI、Synopsys など、約 200 社のテクノロジー パートナーが NVIDIA NIM を統合して、副操縦士、コード アシスタント、デジタル ヒューマン アバターなどのドメイン固有のアプリケーション向けの生成 AI の導入を促進しています。 Hugging Face も Meta Llama 3 から NIM を提供しています。
NVIDIA の創設者兼 CEO のジェンスン・ファン氏は、NIM のアクセシビリティと NIM の影響力を強調し、「どの企業も自社の業務に生成 AI を加えようとしていますが、すべての企業が AI 研究者の専任チームを持っているわけではありません。」と述べました。 NVIDIA NIM は、ほぼすべての組織で生成 AI を利用できるようにします。
企業は、NVIDIA AI Enterprise ソフトウェア プラットフォームを通じて NIM を使用して AI アプリケーションを展開できます。来月から、NVIDIA 開発者プログラムのメンバーは、好みのインフラストラクチャでの研究、開発、テストのために NIM に無料でアクセスできるようになります。
モダリティ全体で生成 AI を強化
NIM コンテナーは、GPU 高速化推論のモデル展開を加速するために事前に構築されており、NVIDIA CUDA ソフトウェア、NVIDIA Triton Inference Server、および NVIDIA TensorRT-LLM ソフトウェアが含まれています。 Databricks DBRX、Google の Gemma、Meta Llama 40、Microsoft Phi-3、Mistral Large を含む 3 を超えるモデルが、ai.nvidia.com の NIM エンドポイントとして利用できます。
開発者は、Hugging Face AI プラットフォーム経由で Meta Llama 3 モデルの NVIDIA NIM マイクロサービスにアクセスでき、NVIDIA GPU を搭載した Hugging Face Inference エンドポイントを使用して Llama 3 NIM を簡単に実行できます。
広範なエコシステムのサポート
Canonical、Red Hat、Nutanix、VMware などのプラットフォーム プロバイダーは、オープンソースの KServe またはエンタープライズ ソリューションで NIM をサポートしています。 Hippocratic AI、Glean、Kinetica、Redis などの AI アプリケーション企業は、生成 AI 推論を強化するために NIM を導入しています。 Amazon SageMaker、Microsoft Azure AI、Dataiku、DataRobot などの主要な AI ツールや MLOps パートナーは、自社のプラットフォームに NIM を組み込み、開発者が最適化された推論を備えたドメイン固有の生成 AI アプリケーションを構築およびデプロイできるようにしています。
Accenture、Deloitte、Infosys、Latentview、Quantiphi、SoftServe、TCS、Wipro などのグローバル システム インテグレーターやサービス提供パートナーは、企業がプロダクション AI 戦略を迅速に開発および展開できるように、NIM コンピテンシーを開発しました。企業は、Cisco、Dell Technologies、Hewlett-Packard Enterprise、Lenovo、Supermicro などのメーカーの NVIDIA 認定システムで NIM 対応アプリケーションを実行できるほか、ASRock Rack、ASUS、GIGABYTE、Ingrasys、Inventec、Pegatron、 QCT、ウィストロン、ウィウィン。 NIM マイクロサービスは、Amazon Web Services、Google Cloud、Azure、Oracle Cloud Infrastructure などの主要なクラウド プラットフォームにも統合されています。
業界での採用と使用例
大手企業は、業界全体の多様なアプリケーションに NIM を活用しています。 Foxconn は、AI 工場、スマート シティ、電気自動車のドメイン固有 LLM に NIM を使用しています。 Pegatron は、プロジェクト TaME に NIM を採用し、さまざまな業界向けのローカル LLM 開発を推進しています。 Amdocs は顧客の請求 LLM に NIM を使用し、精度を向上させながらコストと遅延を大幅に削減します。 ServiceNow は、Now AI マルチモーダル モデル内に NIM マイクロサービスを統合し、顧客に高速かつスケーラブルな LLM 開発と展開を提供します。
利用状況
開発者は、次の場所で NVIDIA マイクロサービスを実験できます。 ai.nvidia.com 無料で。企業は、NVIDIA AI Enterprise を使用して、NVIDIA 認定システムおよび主要なクラウド プラットフォームに本番グレードの NIM マイクロサービスを展開できます。研究やテストのために NIM への無料アクセスに興味のある開発者は、アクセスに登録できます。アクセスは来月利用可能になる予定です。
StorageReview と連携する
ニュースレター | YouTube |ポッドキャスト iTunes/Spotifyは | Instagram | Twitter | TikTok | RSSフィード
