Modellauswahl
Welches Modell für welchen Job?
Sie denken in Anwendungsfällen, wir übersetzen das in Modell-Konfigurationen. Empfehlungen basieren auf gemessenen Throughput-Werten aus unseren Test-Matrizen.
Anwendungsfälle
Empfehlung nach Aufgabe.
Was der Kunde wirklich braucht, und welches Modell aktuell die beste Antwort ist.
| Anwendungsfall | Empfohlenes Modell | Sparks | Warum | Alternative |
|---|---|---|---|---|
| Allround / Chat | Qwen3.8-Flash-Next-NVFP4 | 2–4 | Aktuelle Qwen-Generation mit Reasoning und Function-Calling bei 262K Kontext, GSM8K 95,8–97,9 %. Gemessen ~85 tok/s n=1, ~250 tok/s n=4, ~360 tok/s n=8, ~760 tok/s bei n=32 auf KI:KUBE 4, ~485 tok/s bei n=32 auf KI:KUBE 2: der Standardvorschlag für 80 % aller Anfragen. | Qwen3.8-27B-NVFP4 (dense, höchster Durchsatz: ~1.100 tok/s auf KI:KUBE 4, ~785 tok/s auf KI:KUBE 2, jeweils bei n=32) oder Qwen3.5-397B-A17B-NVFP4 (mehr Tiefe, KI:KUBE 4) |
| Vertragsanalyse / Legal | Nemotron-3-Super-120B-A12B-NVFP4 | 4 | 512K Kontext: ganzer Vertrag samt Anlagen in einem Prompt. Reasoning pro Anfrage zuschaltbar, ~300 tok/s n=8 (~700 tok/s bei n=32) auf KI:KUBE 4, ~420 tok/s bei n=32 auf KI:KUBE 2. | Qwen3.5-397B-A17B-NVFP4 (mehr Tiefe, langsamer) |
| Coding / Software-Entwicklung | Qwen3.6-35B-A3B-NVFP4 | 1–4 | Schnelle Einzelantworten (~80 tok/s n=1) für IDE-Completion und Code-Review-Bots. Genug Qualität für Standardaufgaben; bei seltenen Refactor-Spezialaufgaben Hybrid-Strategie. | Qwen3.6-35B-A3B-FP8 (offene FP8-Variante) oder Qwen3.6-27B-FP8 (dense, etwas höhere Single-Qualität) |
| Deep Reasoning / Analyse | Qwen3.5-397B-A17B-NVFP4 | 4 | Frontier-Reasoning, gemessen 40 tok/s n=1. Für Fälle, in denen Tiefe vor Geschwindigkeit geht. | Nemotron-3-Super-120B-A12B-NVFP4 (~300 tok/s n=8, ~700 tok/s bei n=32) oder GLM-5.3-Flash-NVFP4 (W4A4, ~50 tok/s n=1, GSM8K 96,6 %) |
| Reasoning + Tool-Use (GLM-5.3) | GLM-5.3-Flash-NVFP4 (W4A4) | 4 | Reasoning und Function-Calling (glm47-Parser) bei 262K Kontext, hybride KDA- und DSA-Attention, 288 Experten. GSM8K 96,6 % mit, 98,7 % ohne spekulatives Decoding, ~50 tok/s n=1 mit spekulativem Decoding. | Nemotron-3-Super-120B-A12B-NVFP4 (512K Kontext, Standardwahl für mehrstufige Agenten) |
| Agentic / Tool-Use | Nemotron-3-Super-120B-A12B-NVFP4 | 4 | Function-Calling plus pro Anfrage zuschaltbares Reasoning, 512K Kontext für lange Agenten-Verläufe mit vielen Tool-Ergebnissen. ~300 tok/s n=8, ~700 tok/s bei n=32: genug Durchsatz für viele parallele Agenten-Schritte. | GLM-5.3-Flash-NVFP4 (W4A4, glm47-Parser, 262K Kontext) oder Qwen3.6-27B mit aktiviertem tool_call_parser |
| Bild- / Dokumentenanalyse (multimodal) | Nemotron-3-Nano-Omni-30B-A3B-Reasoning-NVFP4 | 4 | Text, Bild, Video und Audio in einem Modell, 262K Kontext, Reasoning und Function-Calling. Gemessen 119 tok/s n=1: schnellster multimodaler Pfad im Validated-Set (Single-Stream). Nur ~3B aktive Parameter und ~21 GB Gewichte, passt gut parallel neben ein großes Textmodell. Text und Bild verifiziert, Audio noch ungetestet. | Gemma 4 26B-A4B-it-BF16 (Vision + Audio, 50 tok/s n=1) oder Gemma 4 31B-it-BF16 (dense, etwas höhere Genauigkeit) |
| Maximum-Qualität (koste es, was es wolle) | Nemotron-3-Ultra-550B-A55B-NVFP4 | 4 | Größtes validiertes Modell auf KI:KUBE 4 (550B, 10 tok/s n=1). 512K Kontext validiert, Reasoning pro Anfrage zuschaltbar. Langsam, aber wenn Output-Tiefe das einzige Kriterium ist, ist das die Wahl. | GLM-5.3-Flash-NVFP4 (W4A4, Reasoning + Tool-Use, ~50 tok/s n=1) oder Qwen3.5-397B-A17B-NVFP4 (validated, deutlich schneller) |
| Helpdesk / Triage / Schnellantworten | Qwen3.6-35B-A3B-NVFP4 | 1–2 | Niedrige Single-Token-Latenz (~80 tok/s n=1), geeignet für viele kurze Anfragen. | Qwen3.6-35B-A3B-FP8 |
| Multilingual / Übersetzung | Qwen3.5-397B-A17B-NVFP4 | 4 | Breite Mehrsprachigkeit (DE/EN/FR/ES/ZH und viele weitere), Frontier-Tiefe für idiomatische Übersetzungen. 40 tok/s n=1. | Gemma 4 31B (gut bei europäischen Sprachen) |
| Zusammenfassung großer Dokumente | Nemotron-3-Super-120B-A12B-NVFP4 | 4 | 512K Kontext-Fenster = ~400 Seiten am Stück, ~300 tok/s n=8 (~700 tok/s bei n=32). Kein RAG-Chunking nötig für mittlere Dokumentenmengen. Nicht multimodal: für gescannte Dokumente oder Grafiken parallel ein VL-fähiges Modell anbieten (z.B. Nemotron Omni oder Gemma 4 26B-A4B). | Qwen3.8-Flash-Next-NVFP4 (262K Kontext = ~200 Seiten, ~360 tok/s n=8) oder Nemotron-3-Ultra-550B-A55B-NVFP4 (512K Kontext validiert, langsamer) |
n=1-Werte sind Einzelstrom-Raten (eine Anfrage allein). Werte für n>1 sind der Gesamtdurchsatz bei n gleichzeitigen Anfragen und liegen für Qwen3.8-27B, Qwen3.8-Flash-Next und Nemotron-3-Super vor. n=8 entspricht ~10–30 Chat-Usern parallel mit p95 TTFT < 2s, siehe Lesehilfe. Gemessen auf 4× NVIDIA DGX Spark (GB10) mit SGLang und spekulativem Decoding, wo unterstützt; NVFP4-Modelle, Mathe-Aufgaben (GSM8K) als Last. Werte schwanken je nach Last und Prompt um etwa 15 %. Quelle: Performance-Tabelle auf /ausbaustufen.
Skalierung
Empfehlung nach Team-Größe.
Welche Ausbaustufe für welche Team-Größe sinnvoll ist.
Qwen3.8-27B-NVFP4 auf KI:KUBE 2
Einzelne Requests schnell (~80 tok/s), Parallel-Last selten: kleine Stufe genügt.
Qwen3.8-Flash-Next-NVFP4 auf KI:KUBE 4
Reasoning und Tool-Calling mit genug Parallel-Throughput für gleichzeitige Anfragen. Standardempfehlung.
Qwen3.6-35B-A3B + Nemotron-3-Super-120B parallel auf KI:KUBE 4
Routing: einfache Fragen → 35B-A3B (schnell), tiefe Fragen und lange Dokumente → Nemotron Super (Reasoning, 512K Kontext).
Nemotron-3-Super-120B + VL-Modell parallel auf KI:KUBE 4
Nemotron Super: 512K Kontext, ~300 tok/s n=8, ~700 tok/s bei n=32. Nicht multimodal: für Bilder, Scans und PDFs mit Grafiken parallel ein VL-fähiges Modell anbieten (z.B. Nemotron Omni oder Gemma 4 26B-A4B). Super + Omni auf denselben 4 Sparks ist verifiziert; unter gleichzeitiger Volllast teilen sich beide die GPU-Bandbreite.
KI:KUBE 6, oder zweite Box als Hot-Standby
Eine 4-Spark-Box wird zum Bottleneck: Skalieren in Knoten oder Replikation.
KI:KUBE 8: größere Frontier-Modelle, drei+ Modelle hot-loaded
1 TB Unified Memory: höchste Präzision und Reserve für gemischte Spitzenlast über alle Abteilungen.
Parallelbetrieb
Mehrere Modelle gleichzeitig?
Auf KI:KUBE 4 (512 GB Unified Memory) lässt sich ein großes Modell (z.B. Nemotron-3-Super-120B) zusammen mit einem schnellen Allround-Modell (z.B. Qwen3.6-35B-A3B) und einem Vision-Modell (z.B. Nemotron-3-Nano-Omni-30B-A3B) gleichzeitig hot-loaded halten, ohne Reload zwischen den Use-Cases (je nach Auslastung).
Für KI:KUBE 2 ist Hot-Loading von zwei kompakten Modellen machbar (z.B. Qwen3.8-27B + Nemotron-3-Nano-Omni-30B-A3B). Bei KI:KUBE 6 sind drei bis vier Modelle parallel realistisch, bei KI:KUBE 8 (1 TB Unified Memory) auch die größeren Frontier-Modelle oder mehrere Spezialmodelle gleichzeitig bzw. für mehr parallele Zugriffe.
Welches Modell passt zu Ihrem Use-Case? Im Erstgespräch klären wir das in 20 Minuten.
Erstgespräch vereinbaren