Depo ayrıntısı

sauravsingla/MemVanta

Low-memory C++20 LLM inference runtime for quantized GGUF models on CPU — mmap-backed weights, paged KV cache, Q4/Q8 kernels, and reproducible llama.cpp benchmarks.

C++ Apache-2.0 20 Ağustos 2026 son push 01 Kasım 2026 40 fork

benchmarking cpp cpp20 cpu-inference edge-ai gguf inference kv-cache llama-cpp llm llm-inference local-llm low-memory memory-management quantization transformers

GitHub'da aç Site

Yıldız

40+3 · 47 gün

Commit · 28g

—

son 28 günde

Yazar · 28g

—

farklı katkıcı

Detaylı değerlendirme

Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.