Es tut uns ehrlich leid! Wahrscheinlich benutzen sie den Internet Explorer (IE) 10 oder 11. Leider funktionieren einige unserer Webshop-Dienste nicht mit dem IE 10 oder 11. Wir bitten sie freundlichst darum, einen modernen Browser zu benutzen.
NVIDIA H100

NVIDIA H100

Ein Größenordnungssprung für beschleunigtes Computing

Mit dem NVIDIA H100 Tensor-Core-Grafikprozessor profitieren Sie von beispielloser Leistung, Skalierbarkeit und Sicherheit für jeden Workload. Mit dem NVIDIA® NVLinkSwitch® Switch-System können bis zu 256 H100 verbunden werden, um Exascale-Workloads zu beschleunigen, während die dedizierte Transformer Engine Billionen-Parameter-Sprachmodelle unterstützt. H100 greift auf Innovationen in der NVIDIA Hopper-Architektur zurück, um eine branchenführende Gesprächs-KI zu bieten und große Sprachmodelle bis zum 30-fachen im Vergleich zur Vorgeneration zu beschleunigen.

Echtzeit-Deep-Learning-Inferenz

KI löst eine Vielzahl von geschäftlichen Herausforderungen mit einer ebenso breiten Palette an neuronalen Netzen. Ein hervorragender KI-Inferenzbeschleuniger muss nicht nur höchste Leistung, sondern auch die Vielseitigkeit bieten, um diese Netzwerke zu beschleunigen.
 

H100 erweitert die marktführende Position von NVIDIA bei Inferenz weiter mit mehreren Fortschritten, die die Inferenz um das bis zu 30-Fache beschleunigen und die niedrigste Latenz bieten. Tensor-Recheneinheiten der vierten Generation beschleunigen alle Präzisionen, einschließlich FP64, TF32, FP32, FP16 sowie INT8, und die Transformer Engine verwendet FP8 und FP16 zusammen, um die Speicherauslastung zu reduzieren, die Leistung zu steigern und gleichzeitig die Genauigkeit für große Sprachmodelle aufrechtzuerhalten.

nvidia-h100-workload-inference-2c50-d

Mit dem NVIDIA H100 Tensor-Core-Grafikprozessor profitieren Sie von beispielloser Leistung, Skalierbarkeit und Sicherheit für jeden Workload.
 
■  640GB GPU Memory (HBM3)

■  18x NVIDIA NVLinks (4. Generation) pro GPU

■  900 GB/s bidirektionale Bandbreite

■  Bis zu 256x GPUs per NVSwitch in einem SuperPOD-Verbund
 

weitere Informationen

h100-chip

Exascale High-Performance Computing

nvidia-h100-workload-hpc-2c50-d

Die NVIDIA-Rechenzentrumsplattform bietet konsistent Leistungssteigerungen, die über das Mooresche Gesetz hinausgehen. Die neuen bahnbrechenden KI-Funktionen von H100 verstärken die Leistungsfähigkeit von HPC + KI weiter, um für Wissenschaftler und Forscher, die an der Lösung der wichtigsten Herausforderungen der Welt arbeiten, die Zeit bis zum Entdecken zu verkürzen.
 

H100 verdreifacht die Gleitkommaoperationen pro Sekunde (FLOPS) der Tensor Cores mit doppelter Genauigkeit und liefert 60 TeraFLOPS FP64-Computing für HPC. KI-gestützte HPC-Anwendungen können die TF32-Präzision von H100 nutzen, um einen PetaFLOPS Durchsatz für Matrixmultiplikationsoperationen mit einfacher Genauigkeit zu erreichen, ohne Codeänderungen.
 

H100 verfügt außerdem über DPX-Anweisungen, die bei dynamischen Programmieralgorithmen wie Smith-Waterman für die DNA-Sequenzausrichtung 7-mal mehr Leistung als NVIDIA A100 Tensor Core-GPUs und eine 40-fache Beschleunigung gegenüber herkömmlichen Servern mit Dual-Socket-CPUs allein bieten.

MIG der zweiten Generation

h100-mig

Ein Mehr-Instanzen-Grafikprozessor (MIG) kann in mehrere kleinere, vollständig isolierte Instanzen mit eigenem Speicher, Cache und Recheneinheiten aufgeteilt werden. Die Hopper-Architektur verbessert MIG noch weiter und unterstützt mandantenfähige Multi-User-Konfigurationen in virtualisierten Umgebungen für bis zu sieben Grafikprozessorinstanzen, wobei jede Instanz durch Confidential Computing sicher auf Hardware- und Hypervisorebene isoliert ist. Dedizierte Videodecoder für jede MIG-Instanz erlauben intelligente Videoanalysen (IVA) mit hohem Durchsatz auf gemeinsam genutzter Infrastruktur. Mit dem gleichzeitigen MIG-Profiling von Hopper können Administratoren die korrekt dimensionierte Grafikprozessorbeschleunigung überwachen und die Ressourcenzuweisung für Benutzer optimieren.
 

Forscher mit kleineren Workloads können anstelle einer vollständigen CSP-Instanz MIG verwenden, um einen Teil eines Grafikprozessors sicher zu isolieren, und sich dabei darauf verlassen, dass ihre Daten bei Lagerung, Übertragung und Verarbeitung geschützt sind.

Der Formfaktor der H100 im Vergleich


H100 (SXM)

H100 (PCIe)

FP64

30 teraFLOPS

24 teraFLOPS

FP64-Tensor-Core

60 teraFLOPS

48 teraFLOPS

FP32

60 teraFLOPS

48 teraFLOPS

TF32-Tensor-Core

1.000 teraFLOPS* | 500 teraFLOPS

800 teraFLOPS* | 400 teraFLOPS

BFLOAT16-Tensor-Core2.000 teraFLOPS* | 1.000 teraFLOPS

1.600 teraFLOPS* | 800 teraFLOPS

FP16-Tensor-Core2.000 teraFLOPS* | 1.000 teraFLOPS1.600 teraFLOPS* | 800 teraFLOPS
FP8-Tensore-Core4.000 teraFLOPS* | 2.000 teraFLOPS3.200 teraFLOPS* | 1.600 teraFLOPS
INT8-Tensor-Core

4.000 TOPS* | 2,000 TOPS

3.200 TOPS* | 1.600 TOPS

GPU-Speicher80 GB
GPU-Speicherbandbreite3 TB/s2 TB/s
Decoder7 NVDEC
7 JPEG
Max. Thermal Design Power (TDP)700 W350 W
Multi-Instance-GPUsBis zu 7 MIGs mit je 10 GB
FormfaktorSXM PCIe
KonnektivitätNVLink: 900 GB/s PCIe Gen5: 128 GB/s

NVLink: 600 GB/s PCIe Gen5: 128 GB/s

ServeroptionenNVIDIA HGX H100-Partner und NVIDIA-Certified Systems mit 4 oder 8 GPUs, NVIDIA DGX H100 mit 8 GPUsPartner und NVIDIA-Certified Systems mit 1–8 GPUs
weitere InformationenWhitepaper lesen

Die NVIDIA Hopper Architektur im Detail

Der technische Blog von NVIDIA ist gefüllt mit einer Menge an Informationen, originalen Bildern, Skizzen sowie Tabellen.
Die komplette Architektur wird im Detail behandelt und genaustens beschrieben.
 

Hier gelangen Sie zum technischen BLOG


Haben Sie Fragen zu der NVIDIA H100 GPU oder weitere Fragen zu den NVIDIA Produkten?
Wir helfen Ihnen gerne weiter. Rufen Sie uns an, schicken Sie eine Mail oder nutzen Sie uner Anfrageformular: 
NVIDIA DGX Angebot


Kontakt:
   Tel: +49 40 300672 - 0    |   Fax: +49 40 300672 - 11   |   E-Mail: info[at]delta.de