Um Ihnen die Funktionen unseres Online-Shops uneingeschränkt anbieten zu können setzen wir Cookies ein. Weitere Informationen
NVIDIA DGX Anfrage NVIDIA DGX GH200
Nutzen Sie das enorme Potenzial des KI-Zeitalters mit einer neuen Klasse von KI-Supercomputern, die mit 256 NVIDIA Grace Hopper™ Superchips in einem Grafikprozessor vereint werden. Der NVIDIA DGX™ GH200 wurde für die Verarbeitung von Modellen im Terabyte-Bereich für massive Berechnungen, generative KI und Graphenanalyse entwickelt und bietet 144 Terabyte (TB) gemeinsam genutzten Speicher mit linearer Skalierbarkeit für riesige KI-Modelle.
(NVIDIA DGX GH200 AI Supercomputer)
NVIDIA DGX GH200 kombiniert die branchenführende Leistung des NVIDIA GH200 Grace Hopper™ Super-Chipsatzes, NVIDIA NVLink-C2C, NVIDIA NVLink™ Switch System, NVIDIA Quantum-2 InfiniBand Netzwerk und einen umfassenden, optimierten NVIDIA DGX Software-Stack (enthält NVIDIA Base Command™ und NVIDIA AI Enterprise).
Der NVIDIA GH200 Grace Hopper Superchip ist die erste echte heterogen beschleunigte Plattform für KI-Workloads, die Anwendungen mit den Stärken von GPUs und CPUs beschleunigt. Sie steigert die Produktivität der Entwickler, indem sie ihr Programmiermodell mit Funktionen wie Bulk-Datentransfers, NVIDIA Magnum IO für NCCL, MPI, NVSHMEM und direktem Speicherzugriff beschleunigt. Es kombiniert die NVIDIA Grace CPU und den NVIDIA Hopper Grafikprozessor mit NVIDIA NVLink-C2C in einem einzigen Paket mit bis zu 576 GB schnell zugreifbarem GPU-Speicher, 5x mehr Speicher als der HBM-Speicher eines eigenständigen NVIDIA Hopper Grafikprozessors. NVIDIA NVLink-C2C ist ein speicherkohärenter, breitbandiger, latenzarmer und energieeffizienter Superchip-Interconnect, der eine bidirektionale Bandbreite von bis zu 900 GB/s bietet - das ist siebenmal mehr Bandbreite als die x16 PCIe Gen5 Lanes, die in herkömmlichen x86-Systemen verwendet werden.
Ein genauer Blick auf den Superchip
| Eigenschaften | Beschreibung |
| Anzahl der Grace CPU | Bis zu 72 ARM Kerne |
| CPU LPDDR5X Bandbreite | Bis zu 500 GB/s |
| GPU HBM3 Bandbreite | 4000 GB/s |
| NVLink C2C Bandbreite | 900 GB/s total, 450 GB/s pro Richtung |
| CPU LPDDR5X Kapazität | Bis zu 512 GB |
| GPU HBM3 Kapazität | Bis zu 96 GB |
| PCIe Gen 5 Lanes | 64x |
| TDP | Konfigurierbar von 450W bis 1000W |
NVIDIA Grace Hopper Superchip kombiniert die Grace- und Hopper-Architekturen
mithilfe von NVIDIA® NVLink®-C2C, um ein kohärentes CPU- und GPU-Speichermodell für beschleunigte KI- und HPC-Anwendungen bereitzustellen.
- CPU+GPU für KI und HPC im großen Maßstab
- Neue kohärente Schnittstelle mit 900 Gigabyte pro Sekunde (GB/s),
7-mal schneller als PCIe der 5. Generation - 30-mal höhere Gesamt-Systemspeicherbandbreite gegenüber GPU im Vergleich zu NVIDIA DGX™ A100
- Führt alle NVIDIA-Software-Stacks und -Plattformen aus, einschließlich des NVIDIA HPC SDK, NVIDIA AI und NVIDIA Omniverse™
Vergleich der DGX Generationen - GPU Memory
Im Vergleich zu einem einzelnen NVIDIA DGX A100 System mit 320 GB bietet der NVIDIA DGX GH200 fast 500-mal mehr Speicher für das GPU-Programmiermodell mit gemeinsam genutztem Speicher über NVLink. Der NVIDIA DGX GH200 ist der erste Supercomputer, der die 100-Terabyte-Grenze für den über NVLink zugänglichen Grafikprozessorspeicher durchbricht.
Abbildung: GPU-Speichergewinn durch Weiterentwicklung von NVLink
Vergleich der DGX H100 vs GH200
Der NVIDIA DGX GH200 bietet im Vergleich zum DGX H100 eine 3- bis 7-fache Leistungssteigerung bei verschiedenen großen KI-Modellen wie Empfehlungssystemen, Graphenanalyse und Datenanalyse.
Viele der heutigen Mainstream-KI-Modelle können vollständig im aggregierten GPU-Speicher einer einzigen DGX H100 untergebracht werden. Für solche Workloads ist der DGX H100 die leistungseffizienteste Lösung. Für riesige Workloads mit Engpässen im GPU-Speicher oder im Netzwerk ist der DGX GH200 eine besser skalierbare Lösung. In den folgenden Abschnitten werden einige Beispiele für netzwerk- und speicherbeschränkte Workloads diskutiert.
Beispiel eines 8-Grace Hopper Superchip Chassis
NVLink Topology
Haben Sie Fragen zu dem NVIDIA DGX GH200 AI Supercomputer Cluster, helfen oder geben wir Ihnen dazu gerne eine Auskunft.
Kontakt: Tel: +49 40 300672 - 0 | Fax: +49 40 300672 - 11 | E-Mail: info[at]delta.de
