Depo ayrıntısı

prabanta-dev/janas

37 tok/s from Qwen3-Next-80B (48 GB) on a 32 GB laptop, 24 without drafts vs 2.8 for llama.cpp; reading 62 vs 16 tok/s. Faster than llama.cpp on all 13 models compared in Q4_K_M. LLMs bigger than your RAM, pure C, CPU or GPU.

C GPL-3.0 20 Eylül 2026 son push 30 Ekim 2026 49 fork

avx2 c cpu-inference gguf inference-engine linux llm local-llm mixture-of-experts moe nvme quantization qwen3 simd speculative-decoding vulkan

GitHub'da aç

Yıldız

566+545 · 39 gün

Commit · 28g

son 28 günde

Yazar · 28g

farklı katkıcı

Detaylı değerlendirme

Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.