KI:KUBE

Modellauswahl

Welches Modell für welchen Job?

Sie denken in Anwendungsfällen, wir übersetzen das in Modell-Konfigurationen. Empfehlungen basieren auf gemessenen Throughput-Werten aus unseren Test-Matrizen.

Anwendungsfälle

Empfehlung nach Aufgabe.

Was der Kunde wirklich braucht, und welches Modell aktuell die beste Antwort ist.

Anwendungsfall Empfohlenes Modell Sparks Warum Alternative
Allround / Chat Qwen3.8-Flash-Next-NVFP4 2–4 Aktuelle Qwen-Generation mit Reasoning und Function-Calling bei 262K Kontext, GSM8K 95,8–97,9 %. Gemessen ~85 tok/s n=1, ~250 tok/s n=4, ~360 tok/s n=8, ~760 tok/s bei n=32 auf KI:KUBE 4, ~485 tok/s bei n=32 auf KI:KUBE 2: der Standardvorschlag für 80 % aller Anfragen. Qwen3.8-27B-NVFP4 (dense, höchster Durchsatz: ~1.100 tok/s auf KI:KUBE 4, ~785 tok/s auf KI:KUBE 2, jeweils bei n=32) oder Qwen3.5-397B-A17B-NVFP4 (mehr Tiefe, KI:KUBE 4)
Vertragsanalyse / Legal Nemotron-3-Super-120B-A12B-NVFP4 4 512K Kontext: ganzer Vertrag samt Anlagen in einem Prompt. Reasoning pro Anfrage zuschaltbar, ~300 tok/s n=8 (~700 tok/s bei n=32) auf KI:KUBE 4, ~420 tok/s bei n=32 auf KI:KUBE 2. Qwen3.5-397B-A17B-NVFP4 (mehr Tiefe, langsamer)
Coding / Software-Entwicklung Qwen3.6-35B-A3B-NVFP4 1–4 Schnelle Einzelantworten (~80 tok/s n=1) für IDE-Completion und Code-Review-Bots. Genug Qualität für Standardaufgaben; bei seltenen Refactor-Spezialaufgaben Hybrid-Strategie. Qwen3.6-35B-A3B-FP8 (offene FP8-Variante) oder Qwen3.6-27B-FP8 (dense, etwas höhere Single-Qualität)
Deep Reasoning / Analyse Qwen3.5-397B-A17B-NVFP4 4 Frontier-Reasoning, gemessen 40 tok/s n=1. Für Fälle, in denen Tiefe vor Geschwindigkeit geht. Nemotron-3-Super-120B-A12B-NVFP4 (~300 tok/s n=8, ~700 tok/s bei n=32) oder GLM-5.3-Flash-NVFP4 (W4A4, ~50 tok/s n=1, GSM8K 96,6 %)
Reasoning + Tool-Use (GLM-5.3) GLM-5.3-Flash-NVFP4 (W4A4) 4 Reasoning und Function-Calling (glm47-Parser) bei 262K Kontext, hybride KDA- und DSA-Attention, 288 Experten. GSM8K 96,6 % mit, 98,7 % ohne spekulatives Decoding, ~50 tok/s n=1 mit spekulativem Decoding. Nemotron-3-Super-120B-A12B-NVFP4 (512K Kontext, Standardwahl für mehrstufige Agenten)
Agentic / Tool-Use Nemotron-3-Super-120B-A12B-NVFP4 4 Function-Calling plus pro Anfrage zuschaltbares Reasoning, 512K Kontext für lange Agenten-Verläufe mit vielen Tool-Ergebnissen. ~300 tok/s n=8, ~700 tok/s bei n=32: genug Durchsatz für viele parallele Agenten-Schritte. GLM-5.3-Flash-NVFP4 (W4A4, glm47-Parser, 262K Kontext) oder Qwen3.6-27B mit aktiviertem tool_call_parser
Bild- / Dokumentenanalyse (multimodal) Nemotron-3-Nano-Omni-30B-A3B-Reasoning-NVFP4 4 Text, Bild, Video und Audio in einem Modell, 262K Kontext, Reasoning und Function-Calling. Gemessen 119 tok/s n=1: schnellster multimodaler Pfad im Validated-Set (Single-Stream). Nur ~3B aktive Parameter und ~21 GB Gewichte, passt gut parallel neben ein großes Textmodell. Text und Bild verifiziert, Audio noch ungetestet. Gemma 4 26B-A4B-it-BF16 (Vision + Audio, 50 tok/s n=1) oder Gemma 4 31B-it-BF16 (dense, etwas höhere Genauigkeit)
Maximum-Qualität (koste es, was es wolle) Nemotron-3-Ultra-550B-A55B-NVFP4 4 Größtes validiertes Modell auf KI:KUBE 4 (550B, 10 tok/s n=1). 512K Kontext validiert, Reasoning pro Anfrage zuschaltbar. Langsam, aber wenn Output-Tiefe das einzige Kriterium ist, ist das die Wahl. GLM-5.3-Flash-NVFP4 (W4A4, Reasoning + Tool-Use, ~50 tok/s n=1) oder Qwen3.5-397B-A17B-NVFP4 (validated, deutlich schneller)
Helpdesk / Triage / Schnellantworten Qwen3.6-35B-A3B-NVFP4 1–2 Niedrige Single-Token-Latenz (~80 tok/s n=1), geeignet für viele kurze Anfragen. Qwen3.6-35B-A3B-FP8
Multilingual / Übersetzung Qwen3.5-397B-A17B-NVFP4 4 Breite Mehrsprachigkeit (DE/EN/FR/ES/ZH und viele weitere), Frontier-Tiefe für idiomatische Übersetzungen. 40 tok/s n=1. Gemma 4 31B (gut bei europäischen Sprachen)
Zusammenfassung großer Dokumente Nemotron-3-Super-120B-A12B-NVFP4 4 512K Kontext-Fenster = ~400 Seiten am Stück, ~300 tok/s n=8 (~700 tok/s bei n=32). Kein RAG-Chunking nötig für mittlere Dokumentenmengen. Nicht multimodal: für gescannte Dokumente oder Grafiken parallel ein VL-fähiges Modell anbieten (z.B. Nemotron Omni oder Gemma 4 26B-A4B). Qwen3.8-Flash-Next-NVFP4 (262K Kontext = ~200 Seiten, ~360 tok/s n=8) oder Nemotron-3-Ultra-550B-A55B-NVFP4 (512K Kontext validiert, langsamer)

n=1-Werte sind Einzelstrom-Raten (eine Anfrage allein). Werte für n>1 sind der Gesamtdurchsatz bei n gleichzeitigen Anfragen und liegen für Qwen3.8-27B, Qwen3.8-Flash-Next und Nemotron-3-Super vor. n=8 entspricht ~10–30 Chat-Usern parallel mit p95 TTFT < 2s, siehe Lesehilfe. Gemessen auf 4× NVIDIA DGX Spark (GB10) mit SGLang und spekulativem Decoding, wo unterstützt; NVFP4-Modelle, Mathe-Aufgaben (GSM8K) als Last. Werte schwanken je nach Last und Prompt um etwa 15 %. Quelle: Performance-Tabelle auf /ausbaustufen.

Skalierung

Empfehlung nach Team-Größe.

Welche Ausbaustufe für welche Team-Größe sinnvoll ist.

1–5 Power-User

Qwen3.8-27B-NVFP4 auf KI:KUBE 2

Einzelne Requests schnell (~80 tok/s), Parallel-Last selten: kleine Stufe genügt.

10–20 Mitarbeiter, gemischte Nutzung

Qwen3.8-Flash-Next-NVFP4 auf KI:KUBE 4

Reasoning und Tool-Calling mit genug Parallel-Throughput für gleichzeitige Anfragen. Standardempfehlung.

20–40 Mitarbeiter, intensiv

Qwen3.6-35B-A3B + Nemotron-3-Super-120B parallel auf KI:KUBE 4

Routing: einfache Fragen → 35B-A3B (schnell), tiefe Fragen und lange Dokumente → Nemotron Super (Reasoning, 512K Kontext).

20–40 Mitarbeiter, Reasoning + lange Dokumente

Nemotron-3-Super-120B + VL-Modell parallel auf KI:KUBE 4

Nemotron Super: 512K Kontext, ~300 tok/s n=8, ~700 tok/s bei n=32. Nicht multimodal: für Bilder, Scans und PDFs mit Grafiken parallel ein VL-fähiges Modell anbieten (z.B. Nemotron Omni oder Gemma 4 26B-A4B). Super + Omni auf denselben 4 Sparks ist verifiziert; unter gleichzeitiger Volllast teilen sich beide die GPU-Bandbreite.

40+ Mitarbeiter oder Frontier-Modelle

KI:KUBE 6, oder zweite Box als Hot-Standby

Eine 4-Spark-Box wird zum Bottleneck: Skalieren in Knoten oder Replikation.

80+ Mitarbeiter, mehrere große Modelle dauerhaft parallel

KI:KUBE 8: größere Frontier-Modelle, drei+ Modelle hot-loaded

1 TB Unified Memory: höchste Präzision und Reserve für gemischte Spitzenlast über alle Abteilungen.

Parallelbetrieb

Mehrere Modelle gleichzeitig?

Auf KI:KUBE 4 (512 GB Unified Memory) lässt sich ein großes Modell (z.B. Nemotron-3-Super-120B) zusammen mit einem schnellen Allround-Modell (z.B. Qwen3.6-35B-A3B) und einem Vision-Modell (z.B. Nemotron-3-Nano-Omni-30B-A3B) gleichzeitig hot-loaded halten, ohne Reload zwischen den Use-Cases (je nach Auslastung).

Für KI:KUBE 2 ist Hot-Loading von zwei kompakten Modellen machbar (z.B. Qwen3.8-27B + Nemotron-3-Nano-Omni-30B-A3B). Bei KI:KUBE 6 sind drei bis vier Modelle parallel realistisch, bei KI:KUBE 8 (1 TB Unified Memory) auch die größeren Frontier-Modelle oder mehrere Spezialmodelle gleichzeitig bzw. für mehr parallele Zugriffe.

Welches Modell passt zu Ihrem Use-Case? Im Erstgespräch klären wir das in 20 Minuten.

Erstgespräch vereinbaren