Es tut uns ehrlich leid! Wahrscheinlich benutzen sie den Internet Explorer (IE) 10 oder 11. Leider funktionieren einige unserer Webshop-Dienste nicht mit dem IE 10 oder 11. Wir bitten sie freundlichst darum, einen modernen Browser zu benutzen.

NVIDIA DGX GH200

NVIDIA DGX GH200

Nutzen Sie das enorme Potenzial des KI-Zeitalters mit einer neuen Klasse von KI-Supercomputern, die mit 256 NVIDIA Grace Hopper™ Superchips in einem Grafikprozessor vereint werden. Der NVIDIA DGX™ GH200 wurde für die Verarbeitung von Modellen im Terabyte-Bereich für massive Berechnungen, generative KI und Graphenanalyse entwickelt und bietet 144 Terabyte (TB) gemeinsam genutzten Speicher mit linearer Skalierbarkeit für riesige KI-Modelle.

gh200_cluster_v3

(NVIDIA DGX GH200 AI Supercomputer)

NVIDIA DGX GH200 kombiniert die branchenführende Leistung des NVIDIA GH200 Grace Hopper™ Super-Chipsatzes, NVIDIA NVLink-C2C, NVIDIA NVLink™ Switch System, NVIDIA Quantum-2 InfiniBand Netzwerk und einen umfassenden, optimierten NVIDIA DGX Software-Stack (enthält NVIDIA Base Command™ und NVIDIA AI Enterprise).

Der NVIDIA GH200 Grace Hopper Superchip ist die erste echte heterogen beschleunigte Plattform für KI-Workloads, die Anwendungen mit den Stärken von GPUs und CPUs beschleunigt. Sie steigert die Produktivität der Entwickler, indem sie ihr Programmiermodell mit Funktionen wie Bulk-Datentransfers, NVIDIA Magnum IO für NCCL, MPI, NVSHMEM und direktem Speicherzugriff beschleunigt. Es kombiniert die NVIDIA Grace CPU und den NVIDIA Hopper Grafikprozessor mit NVIDIA NVLink-C2C in einem einzigen Paket mit bis zu 576 GB schnell zugreifbarem GPU-Speicher, 5x mehr Speicher als der HBM-Speicher eines eigenständigen NVIDIA Hopper Grafikprozessors. NVIDIA NVLink-C2C ist ein speicherkohärenter, breitbandiger, latenzarmer und energieeffizienter Superchip-Interconnect, der eine bidirektionale Bandbreite von bis zu 900 GB/s bietet - das ist siebenmal mehr Bandbreite als die x16 PCIe Gen5 Lanes, die in herkömmlichen x86-Systemen verwendet werden.

Ein genauer Blick auf den Superchip
 
EigenschaftenBeschreibung
Anzahl der Grace CPUBis zu 72 ARM Kerne
CPU LPDDR5X Bandbreite Bis zu 500 GB/s
GPU HBM3 Bandbreite4000 GB/s
NVLink C2C Bandbreite900 GB/s total, 450 GB/s pro Richtung
CPU LPDDR5X KapazitätBis zu 512 GB
GPU HBM3 KapazitätBis zu 96 GB
PCIe Gen 5 Lanes64x
TDPKonfigurierbar von 450W bis 1000W

NVIDIA Grace Hopper Superchip kombiniert die Grace- und Hopper-Architekturen
mithilfe von NVIDIA® NVLink®-C2C, um ein kohärentes CPU- und GPU-Speichermodell für beschleunigte KI- und HPC-Anwendungen bereitzustellen.

superchip_logic_overview

 

  • CPU+GPU für KI und HPC im großen Maßstab
  • Neue kohärente Schnittstelle mit 900 Gigabyte pro Sekunde (GB/s),
    7-mal schneller als PCIe der 5. Generation
  • 30-mal höhere Gesamt-Systemspeicherbandbreite gegenüber GPU im Vergleich zu NVIDIA DGX™ A100
  • Führt alle NVIDIA-Software-Stacks und -Plattformen aus, einschließlich des NVIDIA HPC SDK, NVIDIA AI und NVIDIA Omniverse™
Vergleich der DGX Generationen - GPU Memory

Im Vergleich zu einem einzelnen NVIDIA DGX A100 System mit 320 GB bietet der NVIDIA DGX GH200 fast 500-mal mehr Speicher für das GPU-Programmiermodell mit gemeinsam genutztem Speicher über NVLink. Der NVIDIA DGX GH200 ist der erste Supercomputer, der die 100-Terabyte-Grenze für den über NVLink zugänglichen Grafikprozessorspeicher durchbricht.

gpu-memory-comparison

Abbildung: GPU-Speichergewinn durch Weiterentwicklung von NVLink

Vergleich der DGX H100 vs GH200

Der NVIDIA DGX GH200 bietet im Vergleich zum DGX H100 eine 3- bis 7-fache Leistungssteigerung bei verschiedenen großen KI-Modellen wie Empfehlungssystemen, Graphenanalyse und Datenanalyse.

gh200_speedup

Viele der heutigen Mainstream-KI-Modelle können vollständig im aggregierten GPU-Speicher einer einzigen DGX H100 untergebracht werden. Für solche Workloads ist der DGX H100 die leistungseffizienteste Lösung. Für riesige Workloads mit Engpässen im GPU-Speicher oder im Netzwerk ist der DGX GH200 eine besser skalierbare Lösung. In den folgenden Abschnitten werden einige Beispiele für netzwerk- und speicherbeschränkte Workloads diskutiert.

pfeil
Beispiel eines 8-Grace Hopper Superchip Chassis
gh_8-grace-chassis_v1
NVLink Topology
gh200_nvlink_topo

Haben Sie Fragen zu dem NVIDIA DGX GH200 AI Supercomputer Cluster, helfen oder geben wir Ihnen dazu gerne eine Auskunft. 

Kontakt:   
Tel: +49 40 300672 - 0    |   Fax: +49 40 300672 - 11   |   E-Mail: info[at]delta.de