Depo ayrıntısı

back2matching/turboquant

First open-source TurboQuant KV cache compression for LLM inference. Drop-in for HuggingFace. pip install turboquant.

Python NOASSERTION 25 Mart 2026 son push 07 Ekim 2026 8 fork

compression gpu huggingface inference kv-cache llm machine-learning pytorch quantization transformers vram turboquant

GitHub'da aç Site

Yıldız

46+2 · 62 gün

Commit · 28g

—

son 28 günde

Yazar · 28g

—

farklı katkıcı

Detaylı değerlendirme

Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.