Um Ihnen die Funktionen unseres Online-Shops uneingeschränkt anbieten zu können setzen wir Cookies ein. Weitere Informationen
NVIDIA · Enterprise AI
NVIDIA Agent Toolkit
Das NVIDIA Agent Toolkit ist ein offener Baukasten, um aus Sprachmodellen autonome KI-Agenten zu machen und sicher zu betreiben. Es bündelt vier Bausteine: NemoClaw, Nemotron, OpenShell und CUDA-X, eingebettet in NVIDIA AI Enterprise.
Architektur
So läuft ein Agent.
NVIDIA nennt die Software-Schicht, die ein Modell zum Agenten macht, eine Harness: Orchestrierung, Kontext, Memory, Tool-Use und Sicherheit. So greifen die Bausteine ineinander.
OpenShell · Security & Governance
Prompt
→
OrchestrierungNemoClaw
→
ReasoningNemotron
→
Tool-UseCUDA-X Skills
→
Aktion
NemoClawNemotronCUDA-XOpenShell (Rahmen)
Bausteine
Die vier Komponenten auf einen Blick.
| Baustein | Funktion | Status | Quelle |
|---|---|---|---|
| NemoClaw | Framework und Runtime: Onboarding, gehärtetes Blueprint, geroutete Inferenz, Network-Policy und Lifecycle über eine CLI. Apache 2.0. | Verfügbar | github.com/NVIDIA/NemoClaw ↗ |
| Nemotron 3 | Offene Foundation-Modelle (Nano/Super/Ultra) als Reasoning-Schicht der Agenten. | Nano verfügbar, Ultra ab 04.06. | research.nvidia.com ↗ |
| OpenShell | Sicherer Runtime: Policy-Enforcement auf Systemebene, Per-Agent-Sandbox, lückenloser Audit-Trail. | Early Preview | github.com/NVIDIA/OpenShell ↗ |
| CUDA-X | Bibliotheken (cuDF, cuOpt, AI-Q, NeMo) werden als portable Agent-Skills zugänglich. | Verfügbar | github.com/NVIDIA/skills ↗ |
Status- und Lizenzangaben nach offiziellen NVIDIA-Repos. OpenShell befindet sich im Early-Preview-/Alpha-Stadium. Externe Links (↗) führen zu NVIDIA- und GitHub-Seiten.
Hardware
Die Hardware, auf der das Toolkit läuft.
Das Agent Toolkit skaliert über die gesamte NVIDIA-DGX-Linie. DELTA liefert, integriert und betreut diese Systeme im DACH-Raum.
Baustein 01 · Framework
NemoClaw
NemoClaw ist der Orchestrierungs- und Runtime-Stack des Toolkits. Über eine einzige CLI liefert er geführtes Onboarding, ein gehärtetes Blueprint, geroutete Inferenz, Netzwerk-Policies und Lifecycle-Management. Damit lassen sich Agenten wie OpenClaw (Default) und Hermes in OpenShell-Sandboxes sicher betreiben.
Nicht zu verwechseln: Das NVIDIA Agent Toolkit (NemoClaw) ist nicht dasselbe wie das ältere, framework-agnostische NeMo Agent Toolkit (LangChain, CrewAI, LlamaIndex). Getrennte Projekte.
Baustein 02 · Enterprise-Runtime
OpenShell.
OpenShell führt jeden Agenten out-of-process in einer eigenen Sandbox aus und setzt Regeln über deklaratives YAML auf Systemebene durch. Aufrufer-Credentials werden entfernt, Backend-Credentials gezielt injiziert. Jede Entscheidung landet im Audit-Trail.
Filesystemstatisch, beim Start gesperrt
Networkhot-reloadable
Processstatisch
Inferencehot-reloadable
AllowRouteDeny
Eckdaten
Enforcementout-of-process
Konfigurationdeklaratives YAML
PlattformenUbuntu, Windows, OpenShift
StatusEarly Preview
Entwickelt mit Microsoft, Canonical und Red Hat. Kein TEE-/Compliance-Versprechen, reine Policy- und Privacy-Kontrolle.
Baustein 03 · Modelle
Nemotron 3
Nemotron 3 ist die offene Modellfamilie hinter den Agenten. Das Spitzenmodell Ultra ist laut NVIDIA-Newsroom ein Mixture-of-Experts-Modell mit rund 500 Mrd. Parametern (Drittquellen nennen bis ~550 Mrd.). Alle Modelle bieten ein umschaltbares Reasoning mit Thinking-Budget und stehen unter der NVIDIA Open Model License.
Drittquellen-Claims (bis 5× Inferenz, rund 30 % geringere Kosten) sind nicht von NVIDIA bestätigt und hier bewusst nicht als Spec geführt. Belegt: bis zu 60 % weniger Reasoning-Tokens (NVIDIA).
Eckdaten
LizenzNVIDIA Open Model License
ArchitekturHybrid Mamba-Transformer + MoE
Kontextbis 1 Mio. Token
ReasoningON/OFF mit Budget
Modellfamilie
Nemotron 3 in drei Grössen.
| Modell | Parameter (gesamt / aktiv) | Architektur | Status |
|---|---|---|---|
| Nemotron 3 Nano | 31,6 Mrd. / ~3,2 Mrd. aktiv | Hybrid Mamba-Transformer + MoE | seit 15.12.2025 |
| Nemotron 3 Super | ~120 Mrd. / ~12 Mrd. aktiv | + Latent MoE, MTP, NVFP4 | Verfügbar |
| Nemotron 3 Ultra | ~500 Mrd. / ~50 Mrd. aktiv | + Latent MoE, MTP, NVFP4 | ab 04.06.2026 |
Alle Modelle: Kontext bis 1 Mio. Token, NVIDIA Open Model License. Ultra-Parameter ~500 Mrd. laut NVIDIA-Newsroom; Drittquellen nennen bis ~550 Mrd.
Baustein 04 · Skills
CUDA-X als Agent-Skills.
Bibliotheken werden als portable Instruktions-Sets verfügbar, die ein Agent als Faehigkeit aufruft. Publikation erfordert Signatur, Skill Identity Card und Evaluation-Dataset.
cuDF
Beschleunigte Datenverarbeitung und Dataframes
cuOpt
Routen- und Ressourcen-Optimierung
AI-Q
Retrieval und Wissens-Pipelines
NeMo
Modell-Training, Retriever und Guardrails
Skill Identity→Evaluation-Dataset→Katalog
Plattform
Eingebettet in NVIDIA AI Enterprise.
Das Agent Toolkit ist Teil von NVIDIA AI Enterprise und wird als NIM-Microservices ausgeliefert, dem validierten Software-Stack, der auf jeder NVIDIA-DGX-Plattform mitläuft.
NVIDIA AI Enterprise
NIM Microservices
NVIDIA Agent Toolkit · NemoClaw · OpenShell · Nemotron · CUDA-X
FAQ
Häufige Fragen
Toolkit & Komponenten
Was ist das NVIDIA Agent Toolkit?+
Ein offener Baukasten, um aus Sprachmodellen autonome KI-Agenten zu bauen und sicher zu betreiben. Er bündelt das NemoClaw-Framework, die Nemotron-Modelle, den OpenShell-Runtime und die CUDA-X-Bibliotheken, eingebettet in NVIDIA AI Enterprise.
Was ist der Unterschied zwischen NemoClaw und dem NeMo Agent Toolkit?+
NemoClaw ist der Orchestrierungs- und Runtime-Stack des neuen NVIDIA Agent Toolkit (GTC Taipei 2026). Das ältere NeMo Agent Toolkit ist eine getrennte, framework-agnostische Bibliothek (LangChain, CrewAI, LlamaIndex). Zwei verschiedene Projekte mit eigenen Repos.
Was macht OpenShell und ist es produktionsreif?+
OpenShell ist der sichere Runtime: Policy-Enforcement auf Systemebene, Per-Agent-Sandbox und lückenloser Audit-Trail. Es befindet sich im Early-Preview-/Alpha-Stadium, eignet sich also für Evaluierung und Pilotbetrieb, nicht als fertige Mandanten-Plattform.
Modelle, Betrieb & Hardware
Welche Nemotron-3-Modelle gibt es und unter welcher Lizenz?+
Nano (31,6 Mrd.), Super (~120 Mrd.) und Ultra (~500 Mrd., Drittquellen bis 550 Mrd.), alle als Mixture-of-Experts mit Kontext bis 1 Mio. Token. Sie stehen unter der NVIDIA Open Model License und lassen sich on-premise hosten.
Wie verhält sich das Toolkit zu NVIDIA AI Enterprise und NIM?+
Das Agent Toolkit ist Teil von NVIDIA AI Enterprise und wird als NIM-Microservices ausgeliefert, dem validierten Software-Stack, der auf jeder NVIDIA-DGX-Plattform mitläuft. Mehr zu NVIDIA AI Enterprise.
Auf welcher Hardware läuft das Agent Toolkit?+
Über die gesamte NVIDIA-DGX-Linie: DGX Spark zum Entwickeln, DGX Station für Teams, Vera Rubin und DGX SuperPOD für Produktion. Die Workload-Matrix ordnet Modell zu Plattform.
Nächster Schritt
Welche Hardware trägt Ihre Agenten?
Das Toolkit ist NVIDIAs Software. Den passenden Unterbau, von NVIDIA DGX Spark bis SuperPOD, liefert und integriert DELTA als NVIDIA Elite Partner.
DELTA Computer Products GmbH · Am Alten Lokschuppen 4 · 21509 Glinde
