Depo ayrıntısı
jiahongsigma/Efficient-LLM-Inference-Serving-Systems
Why is LLM inference slow — and how do you make it fast? A hands-on, first-principles course: roofline → KV cache → quantization → parallelism → vLLM/SGLang, with GPU labs on open models.
Python MIT 30 Haziran 2026 son push 11 Ağustos 2026 2 fork
Yıldız
25+5 · 59 gün
Commit · 28g
—
son 28 günde
Yazar · 28g
—
farklı katkıcı
Detaylı değerlendirme
Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.