Havuz
Takip ettiğimiz konularda yükselen açık kaynak projeler — yıldız ivmesi, gerçek geliştirme aktivitesi ve AI değerlendirmesiyle.
Yalnız hareketli, son 28 günde commit almamış repoları gizler (yıldızı olan ama bırakılmış projeler). Commit sayısı henüz ölçülmemiş repolar da gizlenir.
EtiketTüm GitHub etiketleri — repo sahiplerinin koyduğu topic'lergöster
Etiketler yükleniyor…
- 1
Qwen3.8-Flash-Next (125B MoE) up to 1M context on one or two RTX cards (tuned on 3080 10gb). A measured, tuned and benchmarked fork of Str
8,2/gün ort. +6 son gün 75 commit 9 yazar C++ 01 Kas 2026 güncellendi dün - 2
A MoE inference engine you can read in an afternoon.
4,8/gün ort. +0 son gün 11 commit 1 yazar Python 01 Kas 2026 güncellendi 4 gün önce - 3
Uncensored DeepSeek-V4.1-Flash IQ2_XS on Google Colab
7/gün ort. +3 son gün 1 commit 1 yazar Python 30 Eki 2026 güncellendi 8 gün önce - 4
🐋 Run 284B DeepSeek-V4-Flash (<59GiB RAM, 44.4 tok/s pp, 9.1-14.7 tok/s) & 30B MoEs (25-111 tok/s) on a pure 64GB CPU at 256K ctx (0 GPUs).
9,1/gün ort. +9 son gün 41 commit 1 yazar Python 29 Eki 2026 güncellendi 2 gün önce - 5
A dependency-free C inference engine for Liquid AI's LFM2 / LFM2.5 models. Terminal chat, an OpenAI-compatible server, a web agent and a ter
2,5/gün ort. +3 son gün — commit C 27 Eki 2026 güncellendi bugün - 6
Run a coding model at 300+ tok/s on your Mac. Native Rust + Metal inference engine for LiquidAI LFM2.5-24B-A2B (MLX 4-bit) on Apple Silicon.
1,8/gün ort. +1 son gün — commit Metal 25 Eki 2026 güncellendi 9 gün önce - 7
LLM serving engines that SkyDiscover builds on the fly for specific AI models and hardware: Qwen3.6-35B-A3B, Qwen3.8-Flash-Next and Flint on
2,5/gün ort. — commit Python 24 Eki 2026 güncellendi 3 gün önce - 8
Run models larger than your RAM or VRAM by streaming MoE experts from SSD. Built on llama.cpp.
22/gün ort. +20 son gün 203 commit 4 yazar C++ 22 Eki 2026 güncellendi bugün - 9
PROMETHEVS: run the full DeepSeek-V4.1-Flash-1017 (510 GB) on a gaming PC with 64 GB RAM and a 12 GB GPU. PROMETHEVS engine (compress-then-c
7,9/gün ort. +26 son gün 12 commit 1 yazar 21 Eki 2026 güncellendi 15 gün önce - 10
Run stock llama.cpp with the stock Unsloth Qwen3.6-35B-A3B 4-bit on a 16 GB Mac.
0,8/gün ort. +0 son gün — commit TypeScript 20 Eki 2026 güncellendi dün - 11
DeepSeek-V4.1-Flash-1017 on one 256 GB M5 Ultra: 1M context, 70.7-104.9 tok/s decode with DSpark drafts, 1,739-1,867 tok/s cold prompts (8k-
0,7/gün ort. +0 son gün — commit Python 19 Eki 2026 güncellendi 15 gün önce - 12
Qwen3.8-Flash-Next (180B MoE) on one 12-16 GB NVIDIA GPU, Linux or Windows. Own engine, own compression.
1,4/gün ort. +0 son gün — commit Python 14 Eki 2026 güncellendi 17 gün önce - 13
Decisions, not essays: a choice, a yes or no, or a score with a calibrated probability. Open weights, Jev-compatible API, adaptive thinking.
0,8/gün ort. +0 son gün — commit Python 13 Eki 2026 güncellendi 12 gün önce - 14
Pure-Rust MoE inference engine for Qwen3.5/3.6/3.8 GGUF. CPU+GPU hybrid experts, NVRTC CUDA kernels, OpenAI-compatible server. 2x llama.cpp
4,3/gün ort. +36 son gün 443 commit 2 yazar Rust 10 Eki 2026 güncellendi bugün - 15
Run GLM-5.3-Flash (321B), DeepSeek-V4.1-Flash (748B) and MiniMax-M3.1-Flash (428B) on your own GPUs - one engine, one dashboard, OpenAI- and
81,6/gün ort. +42 son gün 855 commit 15 yazar Cuda 06 Eki 2026 güncellendi bugün - 16
Run Qwen3.8-Flash-Next on ONE RTX 3090 (24 GB) + 64 GB RAM: 128K context, up to 2,100 tok/s prefill, 43–51 tok/s decode. vLLM runtime with h
0,3/gün ort. +0 son gün — commit Python 30 Eyl 2026 güncellendi 30 Eyl 2026 - 17
37 tok/s from Qwen3-Next-80B (48 GB) on a 32 GB laptop, 24 without drafts vs 2.8 for llama.cpp; reading 62 vs 16 tok/s. Faster than llama.cp
13,6/gün ort. +19 son gün 60 commit 1 yazar C 20 Eyl 2026 güncellendi bugün - 18
Live truecolor terminal dashboard for a locally running LLM: tok/s, TTFT, GPUs, context, MTP acceptance, layer and real expert routing (llam
2,7/gün ort. +0 son gün 96 commit 4 yazar Rust 11 Eyl 2026 güncellendi 4 gün önce - 19
ENGRAFT: write facts into an LLM's n-gram (Engram) memory table as a removable overlay: 100 facts in a 9 MB file, no weights touched, verifi
1/gün ort. +0 son gün — commit Python 05 Eyl 2026 güncellendi 30 Eyl 2026 - 20
OpenAI-compatible inference server for Qwen3.8 on one RTX 5090 / RTX PRO 6000: the 27B at ~170 tok/s (peaks ~370), Flash-Next (125B MoE) at
0,8/gün ort. +1 son gün — commit Rust 01 Eyl 2026 güncellendi bugün - 21
Slotstream, büyük bir MoE modelini SSD’den parça parça yükleyip yoğun kullanılan expert’leri bellekte önbelleğe alarak Apple Silicon Mac’lerde çalıştıran yerel bir inference engine’dir.
Neden yükseliyor · README, 48 GB M5 Pro üzerinde belirli koşullarda 15.86 tok/s ölçümü ve prompt işleme iyileştirmeleri yayımlıyor; son 28 günde 271 commit ve 5 farklı yazar da yoğun geliştirme faaliyetine işaret ediyor. Ancak proje yalnızca 30 günlük ve mevcut sürüm için nitelikli tam yanıt hızı ölçümünün hâlâ beklediği belirtiliyor.
9,2/gün ort. +3 son gün 278 commit 3 yazar Swift 28 Ağu 2026 güncellendi 3 gün önce - 22
What I run on my inference server: Qwen3.8-Flash-Next on two RTX 3090s, and how I got here
0,3/gün ort. +1 son gün — commit Python 27 Ağu 2026 güncellendi 26 gün önce - 23
MoE expert compression toolkit — prune, merge, and forge specialist models for local inference.
0,2/gün ort. +0 son gün — commit Python 27 Ağu 2026 güncellendi 4 gün önce - 24
halogen-flash-server, Qwen3.8-Flash-Next modelini AMD Strix Halo (gfx1151) donanımında çalıştırmak için özelleştirilmiş bir inference server'dır.
Neden yükseliyor · 32 günlük repo için 722 yıldız ve son 28 günde 99 commit dikkat çekiyor. README, belirli donanım üzerindeki ölçümleri ve ölçüm koşullarını açıklıyor; ancak performans iddiaları proje tarafından sunulmuş ve bağımsız doğrulama bilgisi burada yok. 99 commit'in tek yazardan gelmesi geliştirme hızını gösterirken bakım kapasitesine dair kanıtı sınırlıyor.
17,1/gün ort. +10 son gün 67 commit 1 yazar Shell 26 Ağu 2026 güncellendi dün - 250,3/gün ort. +0 son gün — commit C 25 Ağu 2026 güncellendi 10 Eyl 2026
- 26
The local AI app built for the Mac. Run LLMs like Qwen, Gemma and GPT-OSS on Apple Silicon, including models far bigger than your Mac's memo
0,8/gün ort. +0 son gün — commit Swift 16 Ağu 2026 güncellendi 5 gün önce - 27
Run the native 284B-A13B DeepSeek-V4-Flash-0731 LLM locally on one laptop CPU: pure C, 8 GB RAM minimum, no GPU, best TPOT 0.892 s/token, re
0,3/gün ort. +0 son gün — commit C 16 Ağu 2026 güncellendi 09 Eyl 2026 - 28
A tiered-memory system design for workloads that don't fit in RAM: measure the working set, pin the hot tier, stream the cold tier from flas
0,4/gün ort. +0 son gün — commit Python 07 Ağu 2026 güncellendi 3 gün önce - 29
Run large AI models across your computers and servers. Powered by Colibri. Pure C.
2,2/gün ort. +0 son gün — commit C 04 Ağu 2026 güncellendi bugün - 30
Run GPT-OSS-120B on a 16 GB Mac. Streams mixture-of-experts weights from SSD so only the 2 GiB trunk stays resident. Swift + Metal, no depen
0,3/gün ort. +0 son gün — commit Swift 04 Ağu 2026 güncellendi 07 Ağu 2026 - 31
kimi-k3-in-c, Kimi K3 modelinde inference çalıştırmayı hedefleyen bağımlılıksız bir C99 motorudur.
Neden yükseliyor · 57 günde 8.683 yıldız alması ve Kimi K3'ü 8 GB RAM'li CPU'da çalıştırma iddiası dikkat çekiyor; ancak son 28 gündeki 12 commit'in tek yazardan gelmesi, ilginin bağımsız teknik doğrulama veya geniş katkıcı tabanıyla desteklendiğini göstermiyor.
112,3/gün ort. +234 son gün 0 commit 0 yazar C 01 Ağu 2026 güncellendi 02 Eki 2026 - 32
The Kimi K3 and DeepSeek-V4-Flash-0731 architectures, reimplemented from scratch in pure Rust (zero dependencies) and verified 1:1 against t
0,3/gün ort. +0 son gün — commit Rust 31 Tem 2026 güncellendi 19 Ağu 2026 - 33
Build and train a mini Kimi K3 from scratch — a pure-PyTorch playground from a custom 88M model to 2T-scale LLM profiles.
0,1/gün ort. +0 son gün — commit Python 28 Tem 2026 güncellendi 5 gün önce - 34
Get more intelligence from every bit. Better quantization formats and smarter calibration let larger, stronger models run smoothly on the ha
0,9/gün ort. +0 son gün — commit C++ 24 Tem 2026 güncellendi 2 gün önce - 35
hummingbird is a lightweight, zero dependency runtime for massive open source Mixture of Experts (MoE) language models. It unifies SSD, RAM,
0,6/gün ort. +0 son gün — commit C 21 Tem 2026 güncellendi 31 Tem 2026 - 36
GLM-5.2, a 744 billion parameter mixture of experts model, in a pure C inference engine: quantized to int4, experts streamed from disk, depl
0,7/gün ort. +0 son gün — commit C 15 Tem 2026 güncellendi 15 Tem 2026 - 37
Tiny engine, immense models — run large MoE LLMs (gpt-oss, Mixtral, Qwen3-MoE) on ordinary machines by streaming experts from disk. OpenAI-c
0,1/gün ort. +0 son gün — commit Python 14 Tem 2026 güncellendi 21 Ağu 2026 - 38
SSD-streaming inference engine for giant MoE models (Rust + CUDA). GLM 5.2 743B at 2 tok/s and Hy3 295B at 7 tok/s on two consumer 16GB GPUs
2/gün ort. +0 son gün 0 commit 0 yazar Rust 13 Tem 2026 güncellendi 01 Eyl 2026 - 39
Run MoE models bigger than your RAM. Frontier-size MoE on a phone, laptop, edge. Lossless, on stock llama.cpp. An adaptive streaming optimiz
5,9/gün ort. +3 son gün 162 commit 3 yazar C++ 10 Tem 2026 güncellendi bugün - 40
Local inference you can prove. A single-binary GGUF engine in C: serves, scores, and trains LoRA through the quantized weights it deploys, b
0,3/gün ort. +0 son gün — commit C 10 Tem 2026 güncellendi bugün - 41
Instella MoE is a fully open state-of-the-art Mixture-of-Experts language model, trained end-to-end on AMD Instinct™ GPUs.
0,7/gün ort. +0 son gün — commit Python 07 Tem 2026 güncellendi 02 Eyl 2026 - 42
Frontier-class LLM inference on a laptop CPU — gpt-oss:20b at ~110 tok/s on Apple M4 Max, 7.5x llama.cpp, no GPU. From-scratch NEON/SME kern
0,5/gün ort. +0 son gün — commit Rust 04 Tem 2026 güncellendi 11 Ağu 2026 - 43
🦀 Decoder-only LLM built from scratch in pure Rust using Candle — no Python, no PyTorch. Gated DeltaNet + sparse attention, fine-grained MoE
0,8/gün ort. +0 son gün — commit Rust 24 Haz 2026 güncellendi 21 Ağu 2026 - 44
Fastest MoE/LLM inference runtime for consumer and edge Blackwell GPUs. SN74 on Gittensor.
0,7/gün ort. +0 son gün — commit C++ 22 Haz 2026 güncellendi 27 gün önce - 45
Distill teacher chains-of-thought into a LoRA adapter via a strict boxed-answer format contract + two-phase Train→Nudge (silver-medal NVIDIA
0,6/gün ort. +0 son gün — commit Python 22 Haz 2026 güncellendi 27 Tem 2026 - 46
Run models too big for RAM on Apple Silicon — any Hugging Face model, dense or MoE — by streaming weights from disk
0,1/gün ort. +0 son gün — commit Python 22 Haz 2026 güncellendi 15 Eyl 2026 - 47
Self-hosted, browser-based AI dungeon RPG, fully local on an AMD Strix Halo APU: narrator + per-character agents on one local LLM (Gemma 4 2
0,2/gün ort. +1 son gün — commit Python 09 Haz 2026 güncellendi 26 Tem 2026 - 48
Open benchmark for expert collapse and routing efficiency in sparse MoE LLMs
0,1/gün ort. +0 son gün — commit Python 08 Haz 2026 güncellendi 17 gün önce - 49
👻 MoEWatch: A lightweight diagnostic and audit library for Mixture-of-Experts (MoE) models in HuggingFace Transformers — the pytest for MoE
0,1/gün ort. +0 son gün — commit Python 02 Haz 2026 güncellendi 17 gün önce - 50
MLX-compatible REAP for pruning MoE models on Apple Silicon
0,2/gün ort. -1 son gün — commit Python 29 May 2026 güncellendi 3 gün önce