Validated Profiles
Benchmark-Daten: gemessen, dokumentiert, reproduzierbar.
Wir veröffentlichen Tokens-pro-Sekunde-Messungen für jedes Validated Profile bei bis zu fünf Concurrency-Stufen (n=1 / 4 / 8 / 16 / 32). Methode, Hardware, Engine-Version und Quantisierungs-Backend sind pro Zeile dokumentiert.
Hinweis: Das vollständige Dashboard mit Live-Daten und Pre-Deploy-Quality-Gate-Reports ist in Vorbereitung. Die folgende Tabelle zeigt eine kuratierte Auswahl unserer Messungen.
| Modell | Topologie | n=1 | n=4 | n=8 | n=16 | n=32 | Gate |
|---|---|---|---|---|---|---|---|
| Qwen3.8-27B-NVFP4 | 4× DGX Spark | 117 | 366 | 576 | 791 | 1.109 | PASS |
| Qwen3.8-Flash-Next-NVFP4 | 4× DGX Spark · TP=4 · EP=4 | 84 | 254 | 356 | 504 | 762 | PASS |
| Nemotron-3-Super-120B-A12B-NVFP4 | 4× DGX Spark · TP=4 · EP=4 | 85 | 205 | 307 | 482 | 704 | PASS |
| Qwen3.8-27B-NVFP4 | 2× DGX Spark (KI:KUBE 2 / 2-slim) | 78 | 261 | 384 | 538 | 785 | PASS |
| Qwen3.8-Flash-Next-NVFP4 | 2× DGX Spark (KI:KUBE 2 / 2-slim) · TP=2 · EP=2 | 55 | 167 | 229 | 319 | 485 | PASS |
| Nemotron-3-Super-120B-A12B-NVFP4 | 2× DGX Spark (KI:KUBE 2 / 2-slim) · TP=2 · EP=2 | 57 | 127 | 178 | 259 | 422 | PASS |
| Qwen3.6-35B-A3B-NVFP4 | 4× DGX Spark · TP=4 · EP=1 | 80 | – | – | – | – | PASS |
| Qwen3.6-35B-A3B-FP8 | 4× DGX Spark · TP=4 · EP=1 | 77 | – | – | – | – | PASS |
| Nemotron-3-Nano-Omni-30B-A3B-NVFP4 | 4× DGX Spark · TP=4 · EP=1 | 119 | – | – | – | – | PASS |
| Nemotron-3-Ultra-550B-A55B-NVFP4 | 4× DGX Spark · TP=4 · EP=4 | 10 | – | – | – | – | PASS |
| GLM-5.3-Flash-NVFP4 (W4A4) | 4× DGX Spark · TP=4 | ~50 | – | – | – | – | PASS |
| DeepSeek-R1-distill 70B | 4× DGX Spark · TP=4 | 28 | – | – | – | – | PASS |
| Llama-3.3 70B-Instruct | 2× DGX Spark · TP=2 | 24 | – | – | – | – | PASS |
Werte in Tokens/Sekunde (Ausgabe), jeweils beste Einstellung des Modells. Gemessen auf 4× bzw. 2× NVIDIA DGX Spark (GB10) mit SGLang, NVFP4-Modelle, Mathe-Aufgaben (GSM8K) als Last. Gesamtdurchsatz bei der angegebenen Zahl gleichzeitiger Anfragen; Einzelstrom (n=1) = eine Anfrage allein. Werte schwanken je nach Last und Prompt um etwa 15 %. Wo bei n>1 kein Wert steht, ist nur n=1 angegeben. Vollständige Konfiguration auf Anfrage.
Public Dashboard: Roadmap
- ▸ Suche & Filter nach Modell / Topologie / Quantisierung
- ▸ Historische Gate-Reports (Vorher/Nachher pro Update)
- ▸ Pareto-Front: tok/s vs. Speicherbedarf pro Topologie
- ▸ Reproduktions-Anker (matrix.yaml + Image-Tag pro Zeile)
Aktueller Stand der Datenpipeline: matrixtest-Job-Runner schreibt MATRIX_SUMMARY-Indizes nach NFS · Public-Surface in Arbeit.