NVIDIA GTC 2023 begon met de introductie van nieuwe producten, partners, innovaties en software. Om u een idee te geven van de omvang van de aankondigingen, duurde de keynote 78 minuten. Er zijn vier nieuwe platforms aangekondigd, elk geoptimaliseerd voor een specifieke generatieve AI-inferentiewerklast en gespecialiseerde software.
NVIDIA GTC 2023 begon met de introductie van nieuwe producten, partners, innovaties en software. Om u een idee te geven van de omvang van de aankondigingen, duurde de keynote 78 minuten. Er zijn vier nieuwe platforms aangekondigd, elk geoptimaliseerd voor een specifieke generatieve AI-inferentiewerklast en gespecialiseerde software.
De platforms combineren NVIDIA's volledige stapel inferentiesoftware met de nieuwste NVIDIA Ada-, Hopper- en Grace Hopper-processors. Twee nieuwe GPU's, de NVIDIA L4 Tensor Core GPU en H100 NVL GPU, zijn vandaag gelanceerd.
NVIDIA L4 voor AI-video levert 120x meer AI-aangedreven videoprestaties dan CPU's, gecombineerd met 99 procent betere energie-efficiëntie. De L4 dient als een universele GPU voor vrijwel elke werklast en biedt verbeterde videodecodering en transcoderingsmogelijkheden, videostreaming, augmented reality, generatieve AI-video en meer.
De NVIDIA Ada Lovelace L4 Tensor Core GPU levert universele acceleratie en energie-efficiëntie voor video, AI, gevirtualiseerde desktop- en grafische toepassingen in de onderneming, in de cloud en aan de edge. Met NVIDIA's AI-platform en full-stack
benadering, is L4 geoptimaliseerd voor inferentie op schaal voor een breed scala aan AI-toepassingen, waaronder aanbevelingen, op stem gebaseerde AI-avatarassistenten, generatieve AI, visueel zoeken en automatisering van contactcentra.
De L4 is de meest efficiënte NVIDIA-versneller voor algemeen gebruik, en servers die zijn uitgerust met L4 leveren tot 120x hogere AI-videoprestaties en 2.7x meer generatieve AI-prestaties ten opzichte van CPU-oplossingen, evenals meer dan 4x meer grafische prestaties dan de vorige GPU-generatie. NVIDIA L4 is een veelzijdige, energiezuinige single-slot, onopvallende vormfactor, waardoor het ideaal is voor grote implementaties en edge-locaties.
De NVIDIA L40 voor het genereren van afbeeldingen is geoptimaliseerd voor grafische en AI-ondersteunde 2D-, video- en 3D-beeldgeneratie. Het L40-platform dient als de motor van NVIDIA Omniverse, een platform voor het bouwen en gebruiken van metaverse-applicaties in het datacenter, en levert 7x de inferentieprestaties voor Stable Diffusion en 12x Omniverse-prestaties ten opzichte van de vorige generatie.
De NVIDIA L40 GPU levert high-performance visual computing voor het datacenter, met next-generation graphics, computing en AI-mogelijkheden. Gebouwd op de NVIDIA Ada Lovelace-architectuur, maakt de L40 gebruik van de kracht van de nieuwste generatie RT-, Tensor- en CUDA-kernen om visualisatie en computerprestaties te leveren voor veeleisende datacenterworkloads.
De L40 biedt verbeterde doorvoer en gelijktijdige ray-tracing- en shading-mogelijkheden die de ray-tracing-prestaties verbeteren en renders voor productontwerp en architectuur-, engineering- en constructieworkflows versnellen. De L40 GPU levert hardware-ondersteuning voor structurele schaarsheid en geoptimaliseerd TF32-formaat voor out-of-the-box prestatieverbeteringen voor snellere AI- en datawetenschapsmodeltraining. De versnelde AI-verbeterde grafische mogelijkheden, waaronder DLSS, leveren een opgeschaalde resolutie met betere prestaties in bepaalde toepassingen.
Het grote GPU-geheugen van de L40 pakt geheugenintensieve applicaties en workloads aan, zoals datawetenschap, simulatie, 3D-modellering en rendering met 48 GB ultrasnel GDDR6-geheugen. Geheugen wordt toegewezen aan meerdere gebruikers met vGPU-software om grote werklasten te verdelen over creatieve, datawetenschaps- en ontwerpteams.
De NVIDIA L24 is ontworpen voor 7×40 bedrijfsdatacenteroperaties met energiezuinige hardware en componenten en is geoptimaliseerd om op schaal te worden ingezet en maximale prestaties te leveren voor uiteenlopende datacenterworkloads. De L40 omvat veilig opstarten met de root of trust-technologie, die een extra beveiligingslaag biedt, en voldoet aan NEBS Level 3 om te voldoen aan datacenterstandaarden.
De NVIDIA H100 NVL voor implementatie van grote taalmodellen is ideaal voor het op grote schaal inzetten van enorme LLM's zoals ChatGPT. De nieuwe H100 NVL wordt geleverd met 94 GB geheugen met Transformer Engine-versnelling en levert tot 12x snellere inferentieprestaties bij GPT-3 in vergelijking met de vorige generatie A100 op datacenterschaal.
De op PCIe gebaseerde H100 NVL met NVLink-bridge maakt gebruik van Transformer Engine, NVLink en 188 GB HBM3-geheugen voor optimale prestaties en schaalbaarheid tussen datacenters. De H100 NVL ondersteunt grote taalmodellen tot 175 miljard parameters. Servers die zijn uitgerust met H100 NVL GPU's verhogen de prestaties van het GPT-175B-model tot 12x ten opzichte van NVIDIA DGX A100-systemen, terwijl de latentie laag blijft in datacenteromgevingen met beperkte stroomvoorziening.
NVIDIA Grace Hopper voor aanbevelingsmodellen is ideaal voor grafiekaanbevelingsmodellen, vectordatabases en neurale netwerken van grafieken. Met de 900 GB/s NVLink-C2C-verbinding tussen CPU en GPU kan Grace Hopper 7x snellere gegevensoverdrachten en query's leveren dan PCIe Gen 5.
De NVIDIA Grace Hopper Superchip is een baanbrekende versnelde CPU die vanaf het begin is ontworpen voor gigantische AI- en high-performance computing (HPC)-toepassingen. De superchip zal tot 10x hogere prestaties leveren voor toepassingen met terabytes aan gegevens, waardoor wetenschappers en onderzoekers ongekende oplossingen kunnen vinden voor 's werelds meest complexe problemen.
De NVIDIA Grace Hopper Superchip combineert de Grace- en Hopper-architecturen met behulp van NVIDIA NVLink-C2C om een CPU+GPU coherent geheugenmodel te leveren voor versnelde AI- en HPC-toepassingen. Grace Hopper bevat een coherente interface van 900 gigabytes per seconde (GB/s), is 7x sneller dan PCIe Gen5 en levert 30x hogere totale systeemgeheugenbandbreedte voor GPU in vergelijking met NVIDIA DGX A100. Bovendien draait het alle NVIDIA-softwarestacks en -platforms, inclusief de NVIDIA HPC SDK, NVIDIA AI en NVIDIA Omniverse.
Moderne aanbevelingssysteemmodellen vereisen aanzienlijke hoeveelheden geheugen voor het opslaan van inbeddingstabellen. Inbeddingstabellen bevatten semantische representaties voor items en gebruikersfuncties, waardoor consumenten betere aanbevelingen kunnen doen.
Over het algemeen volgen deze inbeddingen een machtswetverdeling voor gebruiksfrequentie, aangezien sommige inbeddingsvectoren vaker worden gebruikt dan andere. NVIDIA Grace Hopper maakt aanbevelingssysteempijplijnen met hoge doorvoer mogelijk die
bewaar de meest gebruikte inbeddingsvectoren in het HBM3-geheugen en de resterende inbeddingsvectoren in het LPDDR5X-geheugen met hogere capaciteit. De NVLink C2C-interconnect biedt Hopper GPU's toegang met hoge bandbreedte tot hun lokale LPDDR5X-geheugen. Tegelijkertijd breidt het NVLink Switch-systeem dit uit om Hopper GPU's toegang met hoge bandbreedte te bieden tot al het LPDDR5X-geheugen van alle Grace Hopper Superchips in het NVLink-netwerk.
Neem contact op met StorageReview
Nieuwsbrief | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed
