Havuz
Takip ettiğimiz konularda yükselen açık kaynak projeler — yıldız ivmesi, gerçek geliştirme aktivitesi ve AI değerlendirmesiyle.
Yalnız hareketli, son 28 günde commit almamış repoları gizler (yıldızı olan ama bırakılmış projeler). Commit sayısı henüz ölçülmemiş repolar da gizlenir.
EtiketTüm GitHub etiketleri — repo sahiplerinin koyduğu topic'lergöster
Etiketler yükleniyor…
- 1
kimi-k3-in-c, Kimi K3 modelinde inference çalıştırmayı hedefleyen bağımlılıksız bir C99 motorudur.
Neden yükseliyor · 57 günde 8.683 yıldız alması ve Kimi K3'ü 8 GB RAM'li CPU'da çalıştırma iddiası dikkat çekiyor; ancak son 28 gündeki 12 commit'in tek yazardan gelmesi, ilginin bağımsız teknik doğrulama veya geniş katkıcı tabanıyla desteklendiğini göstermiyor.
100,7/gün ort. +191 son gün 0 commit 0 yazar C 01 Ağu 2026 güncellendi 02 Eki 2026 - 2
Project Maya - run GLM-5.3-Flash (321B MoE), DeepSeek-V4.1-Flash-1017 (748B MoE) and MiniMax-M3.1-Flash (428B MoE) privately on your own GPU
87,4/gün ort. +55 son gün 897 commit 20 yazar Cuda 06 Eki 2026 güncellendi bugün - 3
turbovec, TurboQuant ile vektörleri sıkıştırıp Rust ve Python üzerinden arama yapmayı sağlayan yerel bir vector index kütüphanesidir.
Neden yükseliyor · 185 günde 17.245 yıldız almış olması ve bellek tasarrufu ile hızlı yerel arama vaadi dikkat çekiyor. Ancak son 28 günde commit ve farklı yazar sayısı sıfır; bu veriler yükselişin güncel olarak sürdüğünü göstermiyor. README'deki performans karşılaştırmaları proje tarafından bildiriliyor, bağımsız doğrulama bilgisi verilen ölçümlerde yok.
78,6/gün ort. +5 son gün 3 commit 1 yazar Rust 26 Mar 2026 güncellendi 27 gün önce - 4
37 tok/s from Qwen3-Next-80B (48 GB) on a 32 GB laptop, 24 without drafts vs 2.8 for llama.cpp; reading 62 vs 16 tok/s. Faster than llama.cp
13,3/gün ort. +17 son gün 62 commit 1 yazar C 20 Eyl 2026 güncellendi 4 gün önce - 5
Halo is an open-source framework built by White Circle for training large language and multimodal models
12,2/gün ort. +1 son gün 5 commit 2 yazar Python 26 Ağu 2026 güncellendi bugün - 6
Kyojin: open-source engine that runs the largest open models on one mini PC or one graphics card, about 2× faster than llama.cpp. AMD (ROCm)
7,1/gün ort. +3 son gün 611 commit 5 yazar Python 02 Eki 2026 güncellendi dün - 7
PROMETHEVS: run the full DeepSeek-V4.1-Flash-1017 (510 GB) on a gaming PC with 64 GB RAM and a 12 GB GPU. PROMETHEVS engine (compress-then-c
6,5/gün ort. +55 son gün 12 commit 1 yazar 21 Eki 2026 güncellendi 11 gün önce - 8
Uncensored DeepSeek-V4.1-Flash IQ2_XS on Google Colab
6/gün ort. +10 son gün 1 commit 1 yazar Python 30 Eki 2026 güncellendi 4 gün önce - 9
Live English speech recognition on the ESP32-P4: a 65.7M-parameter streaming transducer in 2/4-bit weights, faster than real time, on the ch
5,8/gün ort. +4 son gün 7 commit 1 yazar C++ 25 Eki 2026 güncellendi 2 gün önce - 10
Phonon: open speech recognition models (Phonon-2, Phonon-1) — CLI, CPU and CUDA images
4,9/gün ort. +3 son gün 7 commit 1 yazar Python 28 Ağu 2026 güncellendi 6 gün önce - 11
Bilingual (中文+EN) ML / LLM / diffusion / agent interview cheat sheets for AI 秋招 — generated by ARIS /interview-cheatsheet, rendered by /rend
3,8/gün ort. +3 son gün 4 commit 1 yazar Python 19 May 2026 güncellendi 4 gün önce - 12
llama.cpp fork for significantly improved performance on Ampere generation Nvidia cards (especially RTX 3090 / 3090 Ti): example: 110+ tok/s
3,8/gün ort. +6 son gün 775 commit 2 yazar C++ 07 Eyl 2026 güncellendi bugün - 13
From teacher to tiles — a from-scratch LLM distillation & serving engine: custom Triton/CUDA kernels, FSDP distillation, paged-KV continuous
3,7/gün ort. +0 son gün 0 commit 0 yazar Python 05 Haz 2026 güncellendi 24 gün önce - 14
KVarN is a native vLLM KV-cache quantization backend for your agents: 3-5x more context, throughput above FP16, and FP16-level accuracy. Cal
3,2/gün ort. +0 son gün 0 commit 0 yazar Python 29 May 2026 güncellendi 22 Haz 2026 - 15
STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization
2,9/gün ort. -1 son gün 2 commit 1 yazar Python 29 Eyl 2026 güncellendi 11 gün önce - 16
Run a coding model at 300+ tok/s on your Mac. Native Rust + Metal inference engine for LiquidAI LFM2.5-24B-A2B (MLX 4-bit) on Apple Silicon.
2,6/gün ort. +0 son gün — commit Metal 25 Eki 2026 güncellendi 5 gün önce - 17
Fully uncensored, capability-enhanced abliteration of Qwen3.6-27B. NVFP4 + z-lab DFlash speculative decoding (n=12) on the unified ghcr.io/a
2,5/gün ort. +1 son gün 0 commit 0 yazar Python 25 Nis 2026 güncellendi 28 gün önce - 18
⚡ In-Memory Vector Search Engine & HNSW ANN Graph in Java 21 Loom. Sub-millisecond KNN retrieval, 8-bit scalar quantization (SQ8), 16,000+ Q
2,1/gün ort. +0 son gün 31 commit 1 yazar Java 04 Eki 2026 güncellendi 4 gün önce - 19
SSD-streaming inference engine for giant MoE models (Rust + CUDA). GLM 5.2 743B at 2 tok/s and Hy3 295B at 7 tok/s on two consumer 16GB GPUs
2,1/gün ort. +3 son gün 0 commit 0 yazar Rust 13 Tem 2026 güncellendi 01 Eyl 2026 - 20
Python package for LLM compression
2/gün ort. +0 son gün 17 commit 4 yazar Python 30 Mar 2026 güncellendi dün - 21
An environment where open models work as agents: a first-level harness with routing, skills, memory and sandboxed tools, on an engine that d
2/gün ort. +3 son gün — commit Python 28 Eyl 2026 güncellendi bugün - 22
Native ComfyUI port of Ming-3.0-tts, supporting 0.5B and Tiny 9B speech generation.
2/gün ort. +0 son gün — commit Python 20 Eki 2026 güncellendi 3 gün önce - 23
LLM inference with 7x longer context. Pure C, zero dependencies. Lossless KV cache compression + single-header library.
1,8/gün ort. +0 son gün 0 commit 0 yazar C 28 Mar 2026 güncellendi 26 Nis 2026 - 24
A tiny neural-network framework in pure Go with AVX2 SIMD kernels (GOEXPERIMENT=simd)
1,6/gün ort. +0 son gün 11 commit 1 yazar Go 19 Ağu 2026 güncellendi 25 gün önce - 25
Optimized ESP32-S3/P4 fully offline speech to text and text to speech system for Micropython and AtomVM, featuring a finetuned STT model for
1,4/gün ort. +1 son gün — commit C 26 Eyl 2026 güncellendi 20 gün önce - 26
Measures which GGUF quant of a model to run on your GPU: real speed and quality loss (KL divergence), not estimates.
1,4/gün ort. +0 son gün — commit Rust 23 Eki 2026 güncellendi 6 gün önce - 27
Camelid: a Rust-native local inference backend with evidence-gated model compatibility.
1,2/gün ort. +0 son gün 81 commit 3 yazar Rust 01 May 2026 güncellendi 18 gün önce - 28
Interactive canvas for taking an LLM apart tensor by tensor: measured INT8/INT4/FP8 error, distributions, spectra and outlier channels for e
1,2/gün ort. +0 son gün — commit TypeScript 30 Ağu 2026 güncellendi 02 Eyl 2026 - 29
A decision library for running local LLMs on multi-GPU machines without NVLink: parallelism, communication, quantization, speculative decodi
1,1/gün ort. +0 son gün — commit Python 16 Eki 2026 güncellendi bugün - 30
559 K パラメータの日本語 TTS を ESP32-S3 で実時間合成。漢字かな交じり文の形態素解析・アクセント推定まで端末内で走る(M5Stack CoreS3 実機で確認)。推論は依存ゼロの C99、ブラウザ demo あり。arXiv:2608.21378 sanoTT
1/gün ort. +0 son gün — commit Python 27 Ağu 2026 güncellendi dün - 31
A 4B decision model built for Korean.
1/gün ort. +0 son gün — commit 21 Eki 2026 güncellendi 11 gün önce - 32
JANG — GGUF for MLX. YOU MUST USE JANG_Q RUNTIME. Adaptive Mixed-Precision Quantization + Runtime for Apple Silicon
1/gün ort. +0 son gün — commit Python 15 Mar 2026 güncellendi dün - 33
DeepSeek-V4.1-Flash-1017 on one 256 GB M5 Ultra: 1M context, 70.7-104.9 tok/s decode with DSpark drafts, 1,739-1,867 tok/s cold prompts (8k-
0,9/gün ort. +1 son gün — commit Python 19 Eki 2026 güncellendi 11 gün önce - 34
A ternary, zero-heap tiny language model that runs inside a $2 microcontroller — bit-exact Python <-> C99 <-> Cortex-M3 (QEMU) parity. Apach
0,9/gün ort. +1 son gün — commit Python 23 May 2026 güncellendi 08 Tem 2026 - 35
Get more intelligence from every bit. Better quantization formats and smarter calibration let larger, stronger models run smoothly on the ha
0,9/gün ort. +1 son gün — commit C++ 24 Tem 2026 güncellendi 4 gün önce - 36
Compute-for-memory research lab for running larger LLMs on memory-constrained consumer GPUs. Official website exvram.pro
0,9/gün ort. +0 son gün — commit Python 26 Eyl 2026 güncellendi 10 gün önce - 37
Run a 110B on a 2016 PC with 16 GB RAM. Know your tok/s before you download. Placement beats budget: predicts speed + memory fit for any GGU
0,9/gün ort. +1 son gün — commit Python 21 Tem 2026 güncellendi 27 gün önce - 38
🦀 Decoder-only LLM built from scratch in pure Rust using Candle — no Python, no PyTorch. Gated DeltaNet + sparse attention, fine-grained MoE
0,8/gün ort. +1 son gün — commit Rust 24 Haz 2026 güncellendi 21 Ağu 2026 - 39
Disaggregated quantization official codebase
0,7/gün ort. +0 son gün — commit Jupyter Notebook 21 Eyl 2026 güncellendi 13 gün önce - 40
Gumbel-Softmax post-training quantization for LLMs (1–3 bit scalar, INT/GGUF-compatible).
0,7/gün ort. +1 son gün — commit Python 12 May 2026 güncellendi 11 Tem 2026 - 41
Run a 28.9M-parameter TinyLM on ESP32-S3 with an RP2040 OLED display node for fully local embedded AI inference.
0,7/gün ort. +0 son gün — commit Python 17 Ağu 2026 güncellendi 17 Ağu 2026 - 42
The htop for LLM inference see exactly where every GB of VRAM goes and get measured quantization savings.
0,7/gün ort. +0 son gün — commit Python 15 Tem 2026 güncellendi 28 Eyl 2026 - 43
GLM-5.2, a 744 billion parameter mixture of experts model, in a pure C inference engine: quantized to int4, experts streamed from disk, depl
0,7/gün ort. +0 son gün — commit C 15 Tem 2026 güncellendi 15 Tem 2026 - 44
SNDR Core Engine (Genesis) — vLLM runtime patch-overlay for Qwen3.6 + Gemma4 on consumer NVIDIA (Ampere sm_86, 2× A5000/3090). Qwen3.6-35B-A
0,7/gün ort. +0 son gün — commit Python 17 Nis 2026 güncellendi 01 Eki 2026 - 45
Ollama-compatible LLM server on a tuned llama.cpp fork. Beats vllm by 40% on single stream decode, and by 20% on multi stream decode, and be
0,6/gün ort. +0 son gün — commit C++ 06 Eyl 2026 güncellendi bugün - 46
600 KB WASM runtime for Cactus Compute's Needle AI tool-calling models, Needle 3, 2 and 1 from one build. Browser, Cloudflare Workers, Node.
0,6/gün ort. +1 son gün — commit Rust 17 May 2026 güncellendi 20 Eyl 2026 - 47
QuantClaw is a plug-and-play task-type routing quantization plugin for OpenClaw.
0,6/gün ort. +0 son gün — commit TypeScript 22 Nis 2026 güncellendi 27 Nis 2026 - 48
ScribeCrate: open-source, self-hosted Whisper speech-to-text server powered by faster-whisper. OpenAI-compatible transcription and English t
0,6/gün ort. +2 son gün — commit Python 08 Nis 2026 güncellendi dün - 49
Low-memory C++20 LLM inference runtime for quantized GGUF models on CPU — mmap-backed weights, paged KV cache, Q4/Q8 kernels, and reproducib
0,5/gün ort. +0 son gün — commit C++ 20 Ağu 2026 güncellendi 2 gün önce - 50
Rust inference engine for a 28.9M-parameter PLE TinyLM on the ESP32-S3 — 9.4 tok/s, faster than the C implementation it was ported from
0,5/gün ort. +0 son gün — commit Rust 02 Ağu 2026 güncellendi 20 Ağu 2026