Depo ayrıntısı

aivrar/multi-turboquant

Unified KV-cache compression for LLM inference: 12 Python-native methods, guarded add-on composition and routing, analytical capacity simulation, Godzilla KVarN/TriAttention with SM86/SM89 qualification, CUDA weight sharing, and multi-GPU planning.

Python MIT 10 Nisan 2026 son push 10 Ekim 2026 8 fork

attention compression cuda deep-learning gpu inference kv-cache llama-cpp llm local-ai machine-learning memory-optimization model-serving multi-gpu nvidia pytorch quantization transformer turboquant vllm

GitHub'da aç

Yıldız

30+4 · 59 gün

Commit · 28g

—

son 28 günde

Yazar · 28g

—

farklı katkıcı

Detaylı değerlendirme

Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.