Depo ayrıntısı

giannisanni/pulsar

SSD-streaming inference engine for giant MoE models (Rust + CUDA). GLM 5.2 743B at 2 tok/s and Hy3 295B at 7 tok/s on two consumer 16GB GPUs. Zero-config multi-GPU: measures PCIe bandwidth, places attention and hot experts where they fit.

Rust NOASSERTION 13 Temmuz 2026 son push 01 Eylül 2026 28 fork

cuda gguf glm inference-engine llm local-llm mixture-of-experts moe multi-gpu quantization rust ssd-streaming

GitHub'da aç

Yıldız

231+19 · 63 gün

Commit · 28g

son 28 günde

Yazar · 28g

farklı katkıcı

Detaylı değerlendirme

Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.