Depo ayrıntısı

OnlyTerp/turboquant

First open-source implementation of Google TurboQuant (ICLR 2026) -- near-optimal KV cache compression for LLM inference. 5x compression with near-zero quality loss.

Python MIT 25 Mart 2026 son push 25 Mayıs 2026 12 fork

attention compression deep-learning google-research iclr kv-cache kv-cache-compression llm llm-inference machine-learning memory-optimization pytorch quantization transformer vector-quantization vllm

GitHub'da aç

Yıldız

85+7 · 62 gün

Commit · 28g

—

son 28 günde

Yazar · 28g

—

farklı katkıcı

Detaylı değerlendirme

Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.