Depo ayrıntısı

Alberto-Codes/turboquant-vllm

TurboQuant KV cache compression plugin for vLLM — asymmetric K/V, 8 models validated, consumer GPUs

Python Apache-2.0 26 Mart 2026 son push 10 Nisan 2026 6 fork

compression consumer-gpu inference-optimization kv-cache llm quantization transformer triton turboquant vllm

GitHub'da aç Site

Yıldız

51+2 · 62 gün

Commit · 28g

—

son 28 günde

Yazar · 28g

—

farklı katkıcı

Detaylı değerlendirme

Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.