Depo ayrıntısı

0xBakeer/Qwen3.8-27B-4-bit-on-a-single-DGX-Spark

Serving 4-bit Qwen3.8-27B on a single DGX Spark (GB10): 75 tok/s single-stream, 246 tok/s aggregate at 8-way concurrency. NVFP4 vs MixedInt4-AutoRound vs the FP8 baseline, measured on one harness — including why the quantization advantage collapses to +0.2% by c16.

Python MIT 16 Ağustos 2026 son push 30 Eylül 2026 4 fork

autoround benchmark dgx-spark gb10 int4 llm-inference llm-serving marlin nvfp4 nvidia quantization qwen qwen3 speculative-decoding vllm

GitHub'da aç

Yıldız

51+3 · 60 gün

Commit · 28g

—

son 28 günde

Yazar · 28g

—

farklı katkıcı

Detaylı değerlendirme

Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.