Die NVIDIA Hopper-Architektur stand im Mittelpunkt der NVIDIA GTC mit dem Fokus, die nächste Welle von KI-Rechenzentren voranzutreiben. Benannt nach Grace Hopper, einer bahnbrechenden US-Informatikerin, bietet die Accelerated-Computing-Plattform der nächsten Generation eine um eine Größenordnung höhere Leistung als ihr Vorgänger NVIDIA Ampere.
Die NVIDIA Hopper-Architektur stand im Mittelpunkt der NVIDIA GTC mit dem Fokus, die nächste Welle von KI-Rechenzentren voranzutreiben. Benannt nach Grace Hopper, einer bahnbrechenden US-Informatikerin, bietet die Accelerated-Computing-Plattform der nächsten Generation eine um eine Größenordnung höhere Leistung als ihr Vorgänger NVIDIA Ampere.
NVIDIA kündigte außerdem seine erste Hopper-basierte GPU an, die NVIDIA H100, vollgepackt mit 80 Milliarden Transistoren. Der H100 gilt als weltweit größter und leistungsstärkster Beschleuniger und verfügt über eine Transformer Engine und eine hoch skalierbare NVIDIA NVLink-Verbindung zur Weiterentwicklung riesiger KI-Sprachmodelle, Deep-Recommendator-Systeme, Genomik und komplexer digitaler Zwillinge.
„Rechenzentren werden zu KI-Fabriken – sie verarbeiten und verfeinern Datenberge, um Intelligenz zu erzeugen“, sagte Jensen Huang, Gründer und CEO von NVIDIA. „NVIDIA H100 ist der Motor der weltweiten KI-Infrastruktur, die Unternehmen nutzen, um ihre KI-gesteuerten Geschäfte zu beschleunigen.“
H100-Technologie
H4 wurde mit einem hochmodernen TSMC 100N-Prozess entwickelt, der für die beschleunigten Rechenanforderungen von NVIDIA entwickelt wurde, und bietet erhebliche Fortschritte zur Beschleunigung von KI, HPC, Speicherbandbreite, Verbindung und Kommunikation, einschließlich externer Konnektivität von fast 5 TB/s. Der Hopper H100 ist die erste GPU, die PCIe Gen5 unterstützt und HBM3 (High Bandwidth Memory 3) nutzt, was eine Speicherbandbreite von 3 TB/s ermöglicht. Zwanzig H100-GPUs können das Äquivalent des weltweiten Internetverkehrs verarbeiten und ermöglichen es Kunden, fortschrittliche Empfehlungssysteme und große Sprachmodelle bereitzustellen, die Inferenzen auf Daten in Echtzeit ausführen.
Die Transformer Engine ist die Wahl für die Verarbeitung natürlicher Sprache und eines der wichtigsten Deep-Learning-Modelle, die jemals erfunden wurden. Die Transformer Engine des H100-Beschleunigers ist darauf ausgelegt, diese Netzwerke im Vergleich zur vorherigen Generation um das Sechsfache zu beschleunigen, ohne an Genauigkeit zu verlieren.
Mit der Multi-Instance GPU (MIG)-Technologie ermöglicht die Hopper-Architektur die Partitionierung einer einzelnen GPU in sieben kleinere, vollständig isolierte Instanzen, um verschiedene Arten von Aufgaben zu bewältigen. Durch die bis zu 7-fache Erweiterung der MIG-Funktionen im Vergleich zur vorherigen Generation bietet die Hopper-Architektur sichere Multi-Tenant-Konfigurationen in Cloud-Umgebungen für jede GPU-Instanz.
Der H100 ist der weltweit erste Beschleuniger mit vertraulichen Rechenfunktionen zum Schutz von KI-Modellen und Kundendaten während der Verarbeitung. Kunden können Confidential Computing auch auf föderiertes Lernen für datenschutzrelevante Branchen wie das Gesundheitswesen, Finanzdienstleistungen und gemeinsam genutzte Cloud-Infrastrukturen anwenden.
Der NVIDIA NVLink der 4. Generation wird mit einem neuen externen NVLink-Switch kombiniert und erweitert ihn als skalierbares Netzwerk über den Server hinaus. Er verbindet mit NVIDIA HDR Quantum InfiniBand bis zu 256 H100-GPUs mit 9-mal höherer Bandbreite im Vergleich zur vorherigen Generation.
NVIDIA H100 kann in praktisch allen Rechenzentren eingesetzt werden, einschließlich lokaler, Cloud-, Hybrid-Cloud- und Edge-Rechenzentren, und wird voraussichtlich noch in diesem Jahr verfügbar sein.
DGX H100-System
NVIDIA kündigte das DGX-System der vierten Generation, DGX H100, mit acht H100-GPUs an, die 32 Petaflops KI-Leistung mit der neuen FP8-Präzision liefern und damit die Skalierung bieten, um den enormen Rechenanforderungen großer Sprachmodelle, Empfehlungssysteme, Gesundheitsforschung und Klimawissenschaft gerecht zu werden .
Jedes DGX H100-System verfügt über acht H100-GPUs, die über NVLink der vierten Generation als eine verbunden sind und eine Konnektivität von 900 GB/s bieten, eine Steigerung um das 1.5-fache gegenüber der vorherigen Generation. NVIDIAs NVLink ist eine verlustfreie GPU-zu-GPU-Verbindung mit geringer Latenz, die Ausfallsicherheitsfunktionen wie Fehlererkennung auf Verbindungsebene und Mechanismen zur Paketwiedergabe umfasst, um eine erfolgreiche Datenübermittlung zu gewährleisten.
Zusätzlich zum NVLink der vierten Generation führt der H100 auch die neue NVLink-Netzwerkverbindung ein. Diese skalierbare Version von NVLink ermöglicht die GPU-zu-GPU-Kommunikation von bis zu 256 GPUs über mehrere Rechenknoten hinweg. NVIDIA führte außerdem die NVSwitch-Technologie der dritten Generation ein, die Schalter sowohl innerhalb als auch außerhalb von Knoten umfasst, um mehrere GPUs in Servern, Clustern und Rechenzentrumsumgebungen zu verbinden. Ein Knoten mit dem neuen NVSwitch bietet 64 NVLink-Ports, um die Multi-GPU-Konnektivität zu beschleunigen und den gesamten Switch-Durchsatz von 7.2 Tbit/s auf 13.6 Tbit/s nahezu zu verdoppeln. NVSwitch ermöglicht die Verbindung aller acht H100-GPUs über NVLink. Ein externer NVLink-Switch kann bis zu 32 DGX H100-Knoten in den NVIDIA DGX SuperPOD-Supercomputern der nächsten Generation vernetzen.
Grace CPU-Superchip
NVIDIA kündigte den Grace CPU Superchip an, vollgepackt mit 144 Arm-Kernen in einem einzigen Sockel. Dies ist die erste diskrete Rechenzentrums-CPU auf Arm Neoverse-Basis, die für KI-Infrastruktur und Hochleistungsrechnen entwickelt wurde und die doppelte Speicherbandbreite und Energieeffizienz bietet.
Das Speichersubsystem besteht aus LPDDR5x-Speicher mit Fehlerkorrekturcode für ein ausgewogenes Verhältnis von Geschwindigkeit und Stromverbrauch. Das LPDDR5x-Speichersubsystem verdoppelt die Bandbreite herkömmlicher DDR5-Designs mit 1 TB/s und verbraucht gleichzeitig deutlich weniger Strom.
Der Grace CPU Superchip wird alle Computersoftware-Stacks von NVIDIA ausführen, einschließlich NVIDIA RTX, NVIDIA HPC, NVIDIA AI und Omniverse. Der Grace-CPU-Superchip bietet zusammen mit NVIDIA ConnectX-7-NICs die Flexibilität, als eigenständige CPU-Systeme oder als GPU-beschleunigte Server mit einer, zwei, vier oder acht Hopper-basierten GPUs in Servern konfiguriert zu werden, sodass Kunden die Leistung optimieren können für ihre spezifischen Arbeitslasten unter Beibehaltung eines einzigen Software-Stacks.
Omniverse-Computersystem
Im Einklang mit dem Fokus auf Rechenzentren kündigte NVIDIA NVIDIA OVX an, ein Computersystem, das für die Stromversorgung großer digitaler Zwillinge entwickelt wurde. Ein digitaler Zwilling ist eine virtuelle Welt, die mit der physischen Welt verbunden ist. NVIDIA OVX ist für die Durchführung komplexer digitaler Zwillingssimulationen konzipiert, die in NVIDIA Omniverse ausgeführt werden, einer physikalisch genauen Weltsimulations- und 3D-Design-Kollaborationsplattform in Echtzeit.
Durch die Kombination leistungsstarker GPU-beschleunigter Rechenleistung, Grafik und KI mit schnellem Speicherzugriff mit geringer Latenz bietet das OVX-System die Leistung, die für die Erstellung digitaler Zwillinge mit realer Genauigkeit erforderlich ist. OVX kann komplexe digitale Zwillinge zur Modellierung von Gebäuden, Fabriken, Städten und der Welt simulieren.
Der OVX-Server umfasst acht NVIDIA A40-GPUs, drei ConnectX-6 DX 200-Gbit/s-NICs, 1 TB Arbeitsspeicher und 16 TB NVMe-Speicher. Das OVX-System lässt sich von einem einzelnen Pod mit acht OVX-Servern auf einen OVX SuperPOD mit 32 Servern skalieren, die über einen NVIDIA Spectrum-3-Switch oder mehrere OVX SuperPODs verbunden sind.
Jetson AGX Orin Entwicklerkit
NVIDIA kündigte außerdem die Verfügbarkeit des Jetson AGX Orin Developer Kit an, eines kompakten, energieeffizienten KI-Supercomputers für fortschrittliche Robotik, autonome Maschinen sowie Embedded- und Edge-Computing der nächsten Generation. Die technischen Daten des Jetson AGX Orin sind beeindruckend: Er liefert 275 Billionen Operationen pro Sekunde, mehr als das Achtfache der Rechenleistung des Vorgängermodells, und behält dabei immer noch einen handtellergroßen Formfaktor bei. Ausgestattet mit der NVIDIA Ampere-Architektur-GPU, Arm Cortex-A8AE-CPUs, Deep-Learning- und Vision-Beschleunigern der nächsten Generation, schnellerer Speicherbandbreite, Hochgeschwindigkeitsschnittstellen und einem multimodalen Sensor kann der Jetson AGX Orin mehrere gleichzeitige KI-Anwendungspipelines versorgen.
Kunden, die Jetson AGX Orin verwenden, können den gesamten beschleunigten Computing-Stack NVIDIA CUDA-X mit 60 Updates für die Sammlung von Bibliotheken, Tools und Technologien nutzen. Sie haben außerdem vollen Zugriff auf das NVIDIA JetPack SDK, vorab trainierte Modelle aus dem NVIDIA NGC-Katalog und die neuesten Frameworks und Tools für die Anwendungsentwicklung und -optimierung, wie NVIDIA Isaac on Omniverse, NVIDIA Metropolis und NVIDIA TAO Toolkit.
NVIDIA Spectrum-4
NVIDIA konzentrierte sich weiterhin auf das Rechenzentrum und kündigte seine NVIDIA Spectrum-4-Ethernet-Plattform an. Der Switch der nächsten Generation liefert 400 Gbit/s End-to-End mit einem viermal höheren Switching-Durchsatz als frühere Generationen. Das Spectrum-4 umfasst ConnectX-4 SmartNIC, BlueField-7 DPLU und DOCA-Rechenzentrums-Infrastruktursoftware.
Die für KI entwickelten Spectrum-4-Switches ermöglichen eine Präzision im Nanosekundenbereich, beschleunigen, vereinfachen und sichern die Netzwerkstruktur mit 2x schnellerer Bandbreite pro Port, 4x weniger Switches und 40 Prozent geringerem Stromverbrauch als frühere Generationen. Mit einer aggregierten ASIC-Bandbreite von 51.2 Tbit/s, Unterstützung für 128 Ports mit 400 GBE, adaptivem Routing und verbesserten Mechanismen zur Überlastungskontrolle optimiert Spectrum-4 RDMA über konvergente Ethernet-Fabrics und beschleunigt so Rechenzentren erheblich.
Wrap up
Die GTC-Veranstaltung von NVIDIA war vollgepackt mit neuen Produktupdates in Bezug auf Software, Leistung und Geschwindigkeit. Großer Fokus auf das Rechenzentrum, aber auch auf die Zielgruppe der autonomen mobilen Roboter (AMR) und natürlich auf Edge. Das Highlight der Messe war die Hopper H100-GPU, aber dieses eine Produkt passte zu so vielen anderen Ankündigungen. NVIDIA hat alle Pressemitteilungen und Blog-Highlights zusammengestellt HIER, und es ist einen Blick wert.
Beteiligen Sie sich an StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | Facebook | TikTok | RSS Feed
