Depo ayrıntısı

omgitsbase/llmash

Ollama-compatible LLM server on a tuned llama.cpp fork. Beats vllm by 40% on single stream decode, and by 20% on multi stream decode, and beats ollama by much 2-4x. Made possible with custom CUDA kernels, MTP, speculation and its own 3-bit builds. Uncensors models in one command. Windows and Linux, NVIDIA. Optimized to not eat up ram.

C++ Apache-2.0 07 Eylül 2026 son push 02 Kasım 2026 7 fork

abliteration cuda gemma gguf inference-engine llama-cpp llm llm-inference llm-serving local-first local-llm mtp nvfp4 ollama ollama-alternative ollama-api quantization qwen speculative-decoding windows

GitHub'da aç

Yıldız

37+24 · 35 gün

Commit · 28g

—

son 28 günde

Yazar · 28g

—

farklı katkıcı

Detaylı değerlendirme

Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.