Depo ayrıntısı

drmihirbrahme/midge

Tiny engine, immense models — run large MoE LLMs (gpt-oss, Mixtral, Qwen3-MoE) on ordinary machines by streaming experts from disk. OpenAI-compatible server with tool calling + hybrid cloud relay; CPU, Apple Silicon (MLX) & CUDA.

Python Apache-2.0 15 Temmuz 2026 son push 21 Ağustos 2026 0 fork

apple-silicon cpu-inference gpt-oss llm low-memory mixture-of-experts mlx moe mxfp4 quantization agents cuda mixtral openai-api qwen tool-calling

GitHub'da aç

Yıldız

13+0 · 38 gün

Commit · 28g

—

son 28 günde

Yazar · 28g

—

farklı katkıcı

Detaylı değerlendirme

Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.