Depo ayrıntısı

atomicmilkshake/llama-cpp-turboquant

llama.cpp fork with TurboQuant quantization (turbo2/3/4) and TriAttention GPU-accelerated KV cache pruning. 75 tok/s on Qwen3-8B / RTX 3080.

C++ MIT 08 Nisan 2026 son push 02 Temmuz 2026 12 fork

cuda ggml inference kv-cache llama-cpp llm quantization turboquant windows triattention

GitHub'da aç Site

Yıldız

57+6 · 62 gün

Commit · 28g

—

son 28 günde

Yazar · 28g

—

farklı katkıcı

Detaylı değerlendirme

Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.