Depo ayrıntısı

shiloz-stack/VeloSpec

Grammar-aware adaptive speculative decoding for structured LLM output — custom CUDA/Triton kernels, 2.7× throughput on enum-heavy schemas

Python MIT 28 Haziran 2026 son push 07 Ağustos 2026 2 fork

cuda gpu grammar high-performance-computing inference json llm speculative-decoding structured-generation triton

GitHub'da aç

Yıldız

17+0 · 36 gün

Commit · 28g

—

son 28 günde

Yazar · 28g

—

farklı katkıcı

Detaylı değerlendirme

Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.