Depo ayrıntısı

hanxiao/Qwen3.6-35B-A3B-MTP-L4

Deploy Qwen3.6-35B-A3B (Q4_K_XL) + MTP speculative decoding on a single NVIDIA L4 24GB — GCP g2-standard-8 — via the official llama.cpp Docker image. Decode-optimized to ~91–99 tok/s (min ~91 chat, max ~99 math), lossless (full GPU residency + ECC-off).

Shell lisans belirtilmemiş 23 Mayıs 2026 son push 24 Ağustos 2026 2 fork

gcp gguf gpu-inference inference-optimization large-language-models llama-cpp llm local-llm mixture-of-experts moe multi-token-prediction nvidia-l4 quantization qwen qwen3 speculative-decoding

GitHub'da aç

Yıldız

19+1 · 39 gün

Commit · 28g

—

son 28 günde

Yazar · 28g

—

farklı katkıcı

Detaylı değerlendirme

Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.