Havuz
Takip ettiğimiz konularda yükselen açık kaynak projeler — yıldız ivmesi, gerçek geliştirme aktivitesi ve AI değerlendirmesiyle.
Yalnız hareketli, son 28 günde commit almamış repoları gizler (yıldızı olan ama bırakılmış projeler). Commit sayısı henüz ölçülmemiş repolar da gizlenir.
EtiketTüm GitHub etiketleri — repo sahiplerinin koyduğu topic'lergöster
Etiketler yükleniyor…
- 1
Project Maya - run GLM-5.3-Flash (321B MoE), DeepSeek-V4.1-Flash-1017 (748B MoE) and MiniMax-M3.1-Flash (428B MoE) privately on your own GPU
87,4/gün ort. +55 son gün 897 commit 20 yazar Cuda 06 Eki 2026 güncellendi bugün - 2
Run large AI models across your computers and servers. Powered by Colibri. Pure C.
2,3/gün ort. +1 son gün 327 commit 1 yazar C 04 Ağu 2026 güncellendi bugün - 3
Run models larger than your RAM or VRAM by streaming MoE experts from SSD. Built on llama.cpp.
22,1/gün ort. +30 son gün 185 commit 3 yazar C++ 22 Eki 2026 güncellendi bugün - 4
Run MoE models bigger than your RAM. Frontier-size MoE on a phone, laptop, edge. Lossless, on stock llama.cpp. An adaptive streaming optimiz
6,1/gün ort. +6 son gün 155 commit 3 yazar C++ 10 Tem 2026 güncellendi bugün - 5
Slotstream, büyük bir MoE modelini SSD’den parça parça yükleyip yoğun kullanılan expert’leri bellekte önbelleğe alarak Apple Silicon Mac’lerde çalıştıran yerel bir inference engine’dir.
Neden yükseliyor · README, 48 GB M5 Pro üzerinde belirli koşullarda 15.86 tok/s ölçümü ve prompt işleme iyileştirmeleri yayımlıyor; son 28 günde 271 commit ve 5 farklı yazar da yoğun geliştirme faaliyetine işaret ediyor. Ancak proje yalnızca 30 günlük ve mevcut sürüm için nitelikli tam yanıt hızı ölçümünün hâlâ beklediği belirtiliyor.
9,6/gün ort. +5 son gün 124 commit 3 yazar Swift 28 Ağu 2026 güncellendi dün - 6
Live truecolor terminal dashboard for a locally running LLM: tok/s, TTFT, GPUs, context, MTP acceptance, layer and real expert routing (llam
2,9/gün ort. +2 son gün 107 commit 4 yazar Rust 11 Eyl 2026 güncellendi bugün - 7
halogen-flash-server, Qwen3.8-Flash-Next modelini AMD Strix Halo (gfx1151) donanımında çalıştırmak için özelleştirilmiş bir inference server'dır.
Neden yükseliyor · 32 günlük repo için 722 yıldız ve son 28 günde 99 commit dikkat çekiyor. README, belirli donanım üzerindeki ölçümleri ve ölçüm koşullarını açıklıyor; ancak performans iddiaları proje tarafından sunulmuş ve bağımsız doğrulama bilgisi burada yok. 99 commit'in tek yazardan gelmesi geliştirme hızını gösterirken bakım kapasitesine dair kanıtı sınırlıyor.
17,3/gün ort. +15 son gün 67 commit 1 yazar Shell 26 Ağu 2026 güncellendi 3 gün önce - 8
37 tok/s from Qwen3-Next-80B (48 GB) on a 32 GB laptop, 24 without drafts vs 2.8 for llama.cpp; reading 62 vs 16 tok/s. Faster than llama.cp
13,3/gün ort. +17 son gün 62 commit 1 yazar C 20 Eyl 2026 güncellendi 4 gün önce - 9
Qwen3.8-Flash-Next (125B MoE) up to 1M context on one or two RTX cards (tuned on 3080 10gb). A measured, tuned and benchmarked fork of Str
12,5/gün ort. +0 son gün 54 commit 7 yazar C++ 01 Kas 2026 güncellendi dün - 10
♟️ llama-modchip v2.1: Run 30B Sparse MoE LLMs on Pure CPU (0 GPUs) at 20–60.4 tok/s with a 256K Context Window via a 1.64MB Stockfish-PVS +
14,2/gün ort. +2 son gün 15 commit 1 yazar Python 29 Eki 2026 güncellendi bugün - 11
PROMETHEVS: run the full DeepSeek-V4.1-Flash-1017 (510 GB) on a gaming PC with 64 GB RAM and a 12 GB GPU. PROMETHEVS engine (compress-then-c
6,5/gün ort. +55 son gün 12 commit 1 yazar 21 Eki 2026 güncellendi 11 gün önce - 12
Uncensored DeepSeek-V4.1-Flash IQ2_XS on Google Colab
6/gün ort. +10 son gün 1 commit 1 yazar Python 30 Eki 2026 güncellendi 4 gün önce - 13
kimi-k3-in-c, Kimi K3 modelinde inference çalıştırmayı hedefleyen bağımlılıksız bir C99 motorudur.
Neden yükseliyor · 57 günde 8.683 yıldız alması ve Kimi K3'ü 8 GB RAM'li CPU'da çalıştırma iddiası dikkat çekiyor; ancak son 28 gündeki 12 commit'in tek yazardan gelmesi, ilginin bağımsız teknik doğrulama veya geniş katkıcı tabanıyla desteklendiğini göstermiyor.
100,7/gün ort. +191 son gün 0 commit 0 yazar C 01 Ağu 2026 güncellendi 02 Eki 2026 - 14
SSD-streaming inference engine for giant MoE models (Rust + CUDA). GLM 5.2 743B at 2 tok/s and Hy3 295B at 7 tok/s on two consumer 16GB GPUs
2,1/gün ort. +3 son gün 0 commit 0 yazar Rust 13 Tem 2026 güncellendi 01 Eyl 2026 - 15
Automated alignment adjustment for LLMs — direct steering, LoRA, and MoE expert-granular abliteration, optimized via multi-objective Optuna
1,2/gün ort. +3 son gün — commit Python 07 Mar 2026 güncellendi dün - 16
⚡ Zero-Stall MoE Inference via Lookahead Prediction & Async DMA Prefetching. Optimized for SSD I/O with Hybrid MLA+Sliding Window Attention.
1/gün ort. +0 son gün — commit Python 19 Nis 2026 güncellendi 26 Nis 2026 - 17
🦀 Decoder-only LLM built from scratch in pure Rust using Candle — no Python, no PyTorch. Gated DeltaNet + sparse attention, fine-grained MoE
0,8/gün ort. +1 son gün — commit Rust 24 Haz 2026 güncellendi 21 Ağu 2026 - 18
Get more intelligence from every bit. Better quantization formats and smarter calibration let larger, stronger models run smoothly on the ha
0,9/gün ort. +1 son gün — commit C++ 24 Tem 2026 güncellendi 4 gün önce - 19
Fastest MoE/LLM inference runtime for consumer and edge Blackwell GPUs. SN74 on Gittensor.
0,7/gün ort. +1 son gün — commit C++ 22 Haz 2026 güncellendi 23 gün önce - 20
Distill teacher chains-of-thought into a LoRA adapter via a strict boxed-answer format contract + two-phase Train→Nudge (silver-medal NVIDIA
0,6/gün ort. +0 son gün — commit Python 22 Haz 2026 güncellendi 27 Tem 2026 - 21
Instella MoE is a fully open state-of-the-art Mixture-of-Experts language model, trained end-to-end on AMD Instinct™ GPUs.
0,7/gün ort. +0 son gün — commit Python 07 Tem 2026 güncellendi 02 Eyl 2026 - 22
GLM-5.2, a 744 billion parameter mixture of experts model, in a pure C inference engine: quantized to int4, experts streamed from disk, depl
0,7/gün ort. +0 son gün — commit C 15 Tem 2026 güncellendi 15 Tem 2026 - 23
The local AI app built for the Mac. Run LLMs like Qwen, Gemma and GPT-OSS on Apple Silicon, including models far bigger than your Mac's memo
0,9/gün ort. +0 son gün — commit Swift 16 Ağu 2026 güncellendi dün - 24
hummingbird is a lightweight, zero dependency runtime for massive open source Mixture of Experts (MoE) language models. It unifies SSD, RAM,
0,6/gün ort. +0 son gün — commit C 21 Tem 2026 güncellendi 31 Tem 2026 - 25
Frontier-class LLM inference on a laptop CPU — gpt-oss:20b at ~110 tok/s on Apple M4 Max, 7.5x llama.cpp, no GPU. From-scratch NEON/SME kern
0,5/gün ort. +1 son gün — commit Rust 04 Tem 2026 güncellendi 11 Ağu 2026 - 26
ENGRAFT: write facts into an LLM's n-gram (Engram) memory table as a removable overlay: 100 facts in a 9 MB file, no weights touched, verifi
1/gün ort. +0 son gün — commit Python 05 Eyl 2026 güncellendi 30 Eyl 2026 - 27
OpenAI-compatible inference server for Qwen3.8 on one RTX 5090 / RTX PRO 6000: the 27B at ~170 tok/s (peaks ~370), Flash-Next (125B MoE) at
0,8/gün ort. +1 son gün — commit Rust 01 Eyl 2026 güncellendi bugün - 28
MLX-compatible REAP for pruning MoE models on Apple Silicon
0,3/gün ort. +0 son gün — commit Python 29 May 2026 güncellendi 8 gün önce - 29
llama.cpp speculative decoding measured on one RTX 3090, Qwen3.6-35B-A3B UD-Q4_K_XL, commit 3737e4137. Published figures are re-derived from
0,2/gün ort. +0 son gün — commit Python 21 Nis 2026 güncellendi 14 gün önce - 30
Qwen3.8-Flash-Next (180B MoE) on one 12-16 GB NVIDIA GPU, Linux or Windows. Own engine, own compression.
1,7/gün ort. +0 son gün — commit Python 14 Eki 2026 güncellendi 13 gün önce - 31
A tiered-memory system design for workloads that don't fit in RAM: measure the working set, pin the hot tier, stream the cold tier from flas
0,4/gün ort. +0 son gün — commit Python 07 Ağu 2026 güncellendi bugün - 32
Official implementation of Prism-MoE, an efficient dense-to-MoE conversion framework for visual autoregressive generation. ICML 2026 Poster.
0,2/gün ort. +0 son gün — commit Python 25 May 2026 güncellendi 03 Tem 2026 - 33
Local inference you can prove. A single-binary GGUF engine in C: serves, scores, and trains LoRA through the quantized weights it deploys, b
0,3/gün ort. +0 son gün — commit C 10 Tem 2026 güncellendi bugün - 34
Self-hosted, browser-based AI dungeon RPG, fully local on an AMD Strix Halo APU: narrator + per-character agents on one local LLM (Gemma 4 2
0,2/gün ort. +0 son gün — commit Python 09 Haz 2026 güncellendi 26 Tem 2026 - 35
Lynn 原生 LLM 推理引擎 · W4A8/NVFP4 量化 · 自写 CUDA/Triton kernel · MoE · 投机解码 | Lynn-native LLM inference engine for NVIDIA Blackwell
0,2/gün ort. +0 son gün — commit Python 08 May 2026 güncellendi 08 Haz 2026 - 36
Run the native 284B-A13B DeepSeek-V4-Flash-0731 LLM locally on one laptop CPU: pure C, 8 GB RAM minimum, no GPU, best TPOT 0.892 s/token, re
0,4/gün ort. +0 son gün — commit C 16 Ağu 2026 güncellendi 09 Eyl 2026 - 37
The Kimi K3 and DeepSeek-V4-Flash-0731 architectures, reimplemented from scratch in pure Rust (zero dependencies) and verified 1:1 against t
0,3/gün ort. +0 son gün — commit Rust 31 Tem 2026 güncellendi 19 Ağu 2026 - 38
Run GPT-OSS-120B on a 16 GB Mac. Streams mixture-of-experts weights from SSD so only the 2 GiB trunk stays resident. Swift + Metal, no depen
0,3/gün ort. +0 son gün — commit Swift 04 Ağu 2026 güncellendi 07 Ağu 2026 - 390,3/gün ort. +0 son gün — commit C 25 Ağu 2026 güncellendi 10 Eyl 2026
- 40
Run a coding model at 300+ tok/s on your Mac. Native Rust + Metal inference engine for LiquidAI LFM2.5-24B-A2B (MLX 4-bit) on Apple Silicon.
2,6/gün ort. +0 son gün — commit Metal 25 Eki 2026 güncellendi 5 gün önce - 41
A compact, readable PyTorch reference implementation of the DeepSeek-V4 architecture (Flash and Pro), in the spirit of nanoGPT. ~4,300 LOC.
0,1/gün ort. +0 son gün — commit Python 14 May 2026 güncellendi 14 Ağu 2026 - 42
Deploy Qwen3.6-35B-A3B (Q4_K_XL) + MTP speculative decoding on a single NVIDIA L4 24GB — GCP g2-standard-8 — via the official llama.cpp Dock
0,1/gün ort. +0 son gün — commit Shell 23 May 2026 güncellendi 24 Ağu 2026 - 43
Decisions, not essays: a choice, a yes or no, or a score with a calibrated probability. Open weights, Jev-compatible API, adaptive thinking.
0,9/gün ort. +0 son gün — commit Python 13 Eki 2026 güncellendi 8 gün önce - 44
A user's facts become a few rows in a content-addressed memory table — not a rewrite of the model. Paper, code, data, and interactive site f
0,1/gün ort. +0 son gün — commit Python 12 May 2026 güncellendi 29 Tem 2026 - 45
A dependency-free C inference engine for Liquid AI's LFM2 / LFM2.5 models. Terminal chat, an OpenAI-compatible server, a web agent and a ter
2,6/gün ort. +4 son gün — commit C 27 Eki 2026 güncellendi bugün - 46
Run models too big for RAM on Apple Silicon — any Hugging Face model, dense or MoE — by streaming weights from disk
0,1/gün ort. +0 son gün — commit Python 22 Haz 2026 güncellendi 15 Eyl 2026 - 47
👻 MoEWatch: A lightweight diagnostic and audit library for Mixture-of-Experts (MoE) models in HuggingFace Transformers — the pytest for MoE
0,1/gün ort. +0 son gün — commit Python 02 Haz 2026 güncellendi 13 gün önce - 48
What I run on my inference server: Qwen3.8-Flash-Next on two RTX 3090s, and how I got here
0,3/gün ort. +0 son gün — commit Python 27 Ağu 2026 güncellendi 22 gün önce - 49
Open benchmark for expert collapse and routing efficiency in sparse MoE LLMs
0,1/gün ort. +0 son gün — commit Python 08 Haz 2026 güncellendi 13 gün önce - 50
Run stock llama.cpp with the stock Unsloth Qwen3.6-35B-A3B 4-bit on a 16 GB Mac.
1/gün ort. +0 son gün — commit Shell 20 Eki 2026 güncellendi 8 gün önce