KI:KUBE

Validated Profiles

Benchmark-Daten: gemessen, dokumentiert, reproduzierbar.

Wir veröffentlichen Tokens-pro-Sekunde-Messungen für jedes Validated Profile bei bis zu fünf Concurrency-Stufen (n=1 / 4 / 8 / 16 / 32). Methode, Hardware, Engine-Version und Quantisierungs-Backend sind pro Zeile dokumentiert.

Hinweis: Das vollständige Dashboard mit Live-Daten und Pre-Deploy-Quality-Gate-Reports ist in Vorbereitung. Die folgende Tabelle zeigt eine kuratierte Auswahl unserer Messungen.

Modell Topologie n=1 n=4 n=8 n=16 n=32 Gate
Qwen3.8-27B-NVFP4 4× DGX Spark 117 366 576 791 1.109 PASS
Qwen3.8-Flash-Next-NVFP4 4× DGX Spark · TP=4 · EP=4 84 254 356 504 762 PASS
Nemotron-3-Super-120B-A12B-NVFP4 4× DGX Spark · TP=4 · EP=4 85 205 307 482 704 PASS
Qwen3.8-27B-NVFP4 2× DGX Spark (KI:KUBE 2 / 2-slim) 78 261 384 538 785 PASS
Qwen3.8-Flash-Next-NVFP4 2× DGX Spark (KI:KUBE 2 / 2-slim) · TP=2 · EP=2 55 167 229 319 485 PASS
Nemotron-3-Super-120B-A12B-NVFP4 2× DGX Spark (KI:KUBE 2 / 2-slim) · TP=2 · EP=2 57 127 178 259 422 PASS
Qwen3.6-35B-A3B-NVFP4 4× DGX Spark · TP=4 · EP=1 80 – – – – PASS
Qwen3.6-35B-A3B-FP8 4× DGX Spark · TP=4 · EP=1 77 – – – – PASS
Nemotron-3-Nano-Omni-30B-A3B-NVFP4 4× DGX Spark · TP=4 · EP=1 119 – – – – PASS
Nemotron-3-Ultra-550B-A55B-NVFP4 4× DGX Spark · TP=4 · EP=4 10 – – – – PASS
GLM-5.3-Flash-NVFP4 (W4A4) 4× DGX Spark · TP=4 ~50 – – – – PASS
DeepSeek-R1-distill 70B 4× DGX Spark · TP=4 28 – – – – PASS
Llama-3.3 70B-Instruct 2× DGX Spark · TP=2 24 – – – – PASS

Werte in Tokens/Sekunde (Ausgabe), jeweils beste Einstellung des Modells. Gemessen auf 4× bzw. 2× NVIDIA DGX Spark (GB10) mit SGLang, NVFP4-Modelle, Mathe-Aufgaben (GSM8K) als Last. Gesamtdurchsatz bei der angegebenen Zahl gleichzeitiger Anfragen; Einzelstrom (n=1) = eine Anfrage allein. Werte schwanken je nach Last und Prompt um etwa 15 %. Wo bei n>1 kein Wert steht, ist nur n=1 angegeben. Vollständige Konfiguration auf Anfrage.

Public Dashboard: Roadmap

  • ▸ Suche & Filter nach Modell / Topologie / Quantisierung
  • ▸ Historische Gate-Reports (Vorher/Nachher pro Update)
  • ▸ Pareto-Front: tok/s vs. Speicherbedarf pro Topologie
  • ▸ Reproduktions-Anker (matrix.yaml + Image-Tag pro Zeile)

Aktueller Stand der Datenpipeline: matrixtest-Job-Runner schreibt MATRIX_SUMMARY-Indizes nach NFS · Public-Surface in Arbeit.