Açık kaynak radarı

Havuz

Takip ettiğimiz konularda yükselen açık kaynak projeler — yıldız ivmesi, gerçek geliştirme aktivitesi ve AI değerlendirmesiyle.

107

repo · sayfa 1 / 3

Sırala

Yıldız/gün (hız)Son gün (★/gün)Son hafta (★/gün)Son ay (★/gün)Toplam yıldız AI önem skoru Bana uyum Commit (28g)Yazar (28g)En yeni

Konu

Tümü AI / LLM18 Veri9 Geliştirici araçları13 Diğer3 SaaS altyapı13 Web11

Süz

Yalnız hareketli Yalnız analizli≥ 0 ≥ 100 ≥ 500 ≥ 2.000

Yalnız hareketli, son 28 günde commit almamış repoları gizler (yıldızı olan ama bırakılmış projeler). Commit sayısı henüz ölçülmemiş repolar da gizlenir.

EtiketTüm GitHub etiketleri — repo sahiplerinin koyduğu topic'lergöster

Sırala:

Etiketler yükleniyor…

Aktif llm-inference

1
FareedKhan-dev/kimi-k3-in-c önem 38gpt6-luna uyum 20gpt6-luna 9.465
kimi-k3-in-c, Kimi K3 modelinde inference çalıştırmayı hedefleyen bağımlılıksız bir C99 motorudur.
Neden yükseliyor · 57 günde 8.683 yıldız alması ve Kimi K3'ü 8 GB RAM'li CPU'da çalıştırma iddiası dikkat çekiyor; ancak son 28 gündeki 12 commit'in tek yazardan gelmesi, ilginin bağımsız teknik doğrulama veya geniş katkıcı tabanıyla desteklendiğini göstermiyor.
100,7/gün ort. +191 son gün 0 commit 0 yazar C 01 Ağu 2026 güncellendi 02 Eki 2026
avx2 c99 cpu-inference deep-learning from-scratch inference-engine kimi-k3 linear-attention
9.465
2
mw00/project-maya 2.448
Project Maya - run GLM-5.3-Flash (321B MoE), DeepSeek-V4.1-Flash-1017 (748B MoE) and MiniMax-M3.1-Flash (428B MoE) privately on your own GPU
87,4/gün ort. +55 son gün 897 commit 20 yazar Cuda 06 Eki 2026 güncellendi bugün
cuda glm glm-5 llm llm-inference local-llm mixture-of-experts moe
2.448
3
drumih/turbo-fieldfare önem 57gpt6-luna uyum 32gpt6-luna 7.111
TurboFieldfare, Gemma 4 26B-A4B modelini Apple Silicon Mac’lerde Swift ve Metal tabanlı özel bir runtime ile yerel olarak çalıştırır.
Neden yükseliyor · 72 günde 6828 yıldız alması ve 8 GB RAM’li Mac’te büyük bir model çalıştırma iddiası dikkat çekiyor. README belirli cihazlarda ölçülmüş decode hızları ve deney kayıtları sunuyor; ancak yıldızlar benimseme veya kalite kanıtı değil. Son 28 günde 4 commit ve 1 farklı yazar olması, geliştirme etkinliği ve ekip genişliği açısından sınırlı kanıt sağlıyor.
65,2/gün ort. +9 son gün 3 commit 1 yazar Swift 17 Tem 2026 güncellendi 8 gün önce
apple-silicon gemma gemma4 gemma4-26b-a4b gpgpu llm llm-inference local-ai
7.111
4
ashhart/TensorFold önem 63gpt6-luna uyum 44gpt6-luna 1.610
TensorFold, Apple Silicon ve NVIDIA GPU’larda çeşitli LLM’leri yerel olarak çalıştırıp OpenAI-compatible ve Anthropic API’leri üzerinden sunan bir inference engine’dir.
Neden yükseliyor · 109 günlük yaşına göre 1.055 yıldız ve son 28 günde 143 commit ile 20 farklı yazar kayda değer geliştirme hareketliliği gösteriyor; model ve checkpoint desteğinin genişliği de dikkat çekiyor. Bu veriler ilgiyi açıklayabilir, ancak yıldızların ne zaman kazanıldığı veya üretim kullanımının yaygınlığı bu ölçümlerden anlaşılamaz.
11,8/gün ort. +21 son gün 5.176 commit 16 yazar Zig 19 Haz 2026 güncellendi bugün
ai ai-tools llm llm-inference llm-tools
1.610
5
carloslfu/slotstream önem 64gpt6-luna uyum 38gpt6-luna 645
Slotstream, büyük bir MoE modelini SSD’den parça parça yükleyip yoğun kullanılan expert’leri bellekte önbelleğe alarak Apple Silicon Mac’lerde çalıştıran yerel bir inference engine’dir.
Neden yükseliyor · README, 48 GB M5 Pro üzerinde belirli koşullarda 15.86 tok/s ölçümü ve prompt işleme iyileştirmeleri yayımlıyor; son 28 günde 271 commit ve 5 farklı yazar da yoğun geliştirme faaliyetine işaret ediyor. Ancak proje yalnızca 30 günlük ve mevcut sürüm için nitelikli tam yanıt hızı ölçümünün hâlâ beklediği belirtiliyor.
9,6/gün ort. +5 son gün 124 commit 3 yazar Swift 28 Ağu 2026 güncellendi dün
apple-silicon claude-code inference-engine llm llm-inference local-ai local-llm macos
645
6
AtomicBot-ai/Atomic-Chat 1.921
Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https
8,9/gün ort. +9 son gün 176 commit 3 yazar TypeScript 31 Mar 2026 güncellendi dün
ai-chat ai-tools apple-silicon chatgpt deepseek desktop-app gemma gguf
1.921
7
drawthingsai/local-code-community 103
Source code of Local Code, a private AI agent for Mac, iPad and iPhone. Runs DeepSeek 4.1 on device, with Python, Node.js and a shell built
7,9/gün ort. +18 son gün 113 commit 3 yazar C 21 Eki 2026 güncellendi bugün
ai artificial-intelligence coding-agent llm llm-agent llm-inference swift ai-agent
103
8
surya-koritala/Glyd önem 54gpt6-luna uyum 10gpt6-luna 321
Glyd, model ağırlıklarını ve KV cache'i bit düzeyinde kayıpsız biçimde sıkıştırıp GPU'da kullanmayı hedefleyen bir compression yazılımıdır.
Neden yükseliyor · README, yaygın bir maliyet sorununa doğrudan yanıt verdiğini ve 32B ile 72B modellerde daha az GPU ile çalışmaya dair ölçümler sunuyor; ancak 9 günlük repoda 170 yıldız ve 474 commit'in yalnızca 2 farklı yazardan gelmesi, ilginin ve geliştirme temposunun geniş bir katkıcı tabanına dayandığını göstermiyor. Yükselişin kesin kaynağı veya bağımsız benimsenme verisi bilinmiyor.
7,1/gün ort. +1 son gün 47 commit 1 yazar Rust 19 Eyl 2026 güncellendi dün
benchmark c-abi cli compression cuda data-compression deduplication delta-compression
321
9
Magnvs7/Promethevs 85
PROMETHEVS: run the full DeepSeek-V4.1-Flash-1017 (510 GB) on a gaming PC with 64 GB RAM and a 12 GB GPU. PROMETHEVS engine (compress-then-c
6,5/gün ort. +55 son gün 12 commit 1 yazar 21 Eki 2026 güncellendi 11 gün önce
deepseek llm local-inference mixture-of-experts quantization consumer-hardware deepseek-v4 llm-inference
85
10
leonxger/deepseek-colab 24
Uncensored DeepSeek-V4.1-Flash IQ2_XS on Google Colab
6/gün ort. +10 son gün 1 commit 1 yazar Python 30 Eki 2026 güncellendi 4 gün önce
colab cuda deepseek deepseek-v4 gguf google-colab gpu llama-cpp
24
11
amurgola/LumaBrowser 130
Local AI desktop app: a Chromium browser with a GPU-aware llama.cpp runtime, OpenAI-compatible API, AI chat and agents, Stable Diffusion ima
5,2/gün ort. +0 son gün 15 commit 1 yazar JavaScript 09 Eki 2026 güncellendi dün
ai-agents ai-browser browser-automation chatgpt-alternative desktop-app electron gguf llama-cpp
130
12
JakeATX/llamAmpere 214
llama.cpp fork for significantly improved performance on Ampere generation Nvidia cards (especially RTX 3090 / 3090 Ti): example: 110+ tok/s
3,8/gün ort. +6 son gün 775 commit 2 yazar C++ 07 Eyl 2026 güncellendi bugün
ampere consumer-gpu cuda ggml gguf kv-cache-quantization llama-cpp llm
214
13
zeraix/zeraix 407
Open-source local AI workspace — advancing on-device inference.
3,6/gün ort. +0 son gün 6 commit 1 yazar TypeScript 14 Tem 2026 güncellendi 15 gün önce
ai-runtime apple-silicon desktop llm llm-inference local-ai metal moe
407
14
huawei-csl/KVarN 513
KVarN is a native vLLM KV-cache quantization backend for your agents: 3-5x more context, throughput above FP16, and FP16-level accuracy. Cal
3,2/gün ort. +0 son gün 0 commit 0 yazar Python 29 May 2026 güncellendi 22 Haz 2026
agentic-ai kv-cache long-context quantization vllm llm llm-inference
513
15
hasso5703/alzeo 245
dgx-spark-qwen38 is an open-source installer that turns an NVIDIA DGX Spark, or any GB10 machine (ASUS, Dell, HP, Lenovo, MSI, GIGABYTE, Ace
3,1/gün ort. +0 son gün — commit Python 15 Ağu 2026 güncellendi bugün
ai-agents asus-ascent-gx10 dgx-spark gb10 image-generation llm-inference local-ai local-llm
245
16
NightMean/OlliteRT 604
Turn your Android phone into an OpenAI-compatible LLM inference server - Fully local, private and Open Source
2,9/gün ort. +7 son gün 7 commit 1 yazar Kotlin 06 Nis 2026 güncellendi 2 gün önce
kotlin-android litert litert-lm llm llm-inference openai-api android gemma
604
17
jaylfc/taOS 589
Self-hosted AI agent OS. Your memory, chat, agents, and files stay on hardware you own, offline by default, cloud by choice. Offline AI memo
2,8/gün ort. +0 son gün 7 commit 1 yazar Python 05 Nis 2026 güncellendi bugün
agent-framework ai-agents ai-platform apple-silicon distributed-computing llm orange-pi raspberry-pi
589
18
chiennv2000/orthrus 483
[NeurIPS 2026 Spotlight] Fast, lossless LLM inference via dual-view diffusion decoding.
2,8/gün ort. +0 son gün 0 commit 0 yazar Python 13 May 2026 güncellendi 13 Ağu 2026
diffusion-language-models efficient-inference large-language-models llm llm-efficiency model-architecture llm-inference speculative-decoding
483
19
architectds/collabosm önem 38gpt6-luna uyum 34gpt6-luna 103
collabosm, kullanıcının Google Colab hesabında GPU başlatıp Qwen3.8 modellerini yerel uygulama ve OpenAI uyumlu API üzerinden kullanmasını sağlar.
Neden yükseliyor · 3 günlük bir repoda 87 yıldız dikkat çekici bir başlangıç; ancak yıldızların neden geldiği ve kullanıcıların uygulamayı gerçekten çalıştırıp çalıştırmadığı mevcut verilerden anlaşılamıyor. Son 28 günlük commit ve farklı yazar ölçümleri de yok.
2,6/gün ort. +0 son gün 3 commit 1 yazar Python 25 Eyl 2026 güncellendi 23 gün önce
colab exllamav3 google-colab gpu llm llm-inference openai-api qwen
103
20
benmaster82/Pithos 18
A dependency-free C inference engine for Liquid AI's LFM2 / LFM2.5 models. Terminal chat, an OpenAI-compatible server, a web agent and a ter
2,6/gün ort. +4 son gün — commit C 27 Eki 2026 güncellendi bugün
lfm2 lfm25 ai-agent avx2 c coding-agent cross-platform gguf
18
21
zhangshuibai/molten 23
Run a coding model at 300+ tok/s on your Mac. Native Rust + Metal inference engine for LiquidAI LFM2.5-24B-A2B (MLX 4-bit) on Apple Silicon.
2,6/gün ort. +0 son gün — commit Metal 25 Eki 2026 güncellendi 5 gün önce
apple-silicon gpu-kernels inference-engine inference-optimization lfm2 liquid-ai llama-cpp llm
23
22
nicorobinreal/llmspeed 168
Feel how fast a local LLM runs before you buy the hardware
2,5/gün ort. +1 son gün — commit TypeScript 28 Ağu 2026 güncellendi 14 gün önce
benchmark gpu hardware inference llm llm-inference local-llm ollama
168
23
JustVugg/lumabri 211
Run large AI models across your computers and servers. Powered by Colibri. Pure C.
2,3/gün ort. +1 son gün 327 commit 1 yazar C 04 Ağu 2026 güncellendi bugün
c cluster-computing colibri distributed-inference llm-inference local-ai mixture-of-experts peer-to-peer
211
24
0xBakeer/TandemLLM 73
An environment where open models work as agents: a first-level harness with routing, skills, memory and sandboxed tools, on an engine that d
2/gün ort. +3 son gün — commit Python 28 Eyl 2026 güncellendi bugün
dgx-spark llm-inference nvfp4 qwen speculative-decoding ai-agents exl3 inference-engine
73
25
quantumaikr/quant.cpp 405
LLM inference with 7x longer context. Pure C, zero dependencies. Lossless KV cache compression + single-header library.
1,8/gün ort. +0 son gün 0 commit 0 yazar C 28 Mar 2026 güncellendi 26 Nis 2026
delta-compression embeddable gguf kv-cache llm llm-inference pure-c quantization
405
26
Dami-wq-k03/nano-lmcache 26
📚 An educational, step-by-step implementation of LLM KV cache reuse — learn prefix caching, chunk keys, storage & eviction, from pure Python
1,7/gün ort. +1 son gün — commit Python 19 Eki 2026 güncellendi bugün
educational kv-cache llm llm-inference lmcache prefix-caching python vllm
26
27
yanun0323/Whallm 152
DeepSeek-V4-Flash-0731 284B inference in ~25 GB of RAM / Qwen3.8-Next-Flash inference in ~15 GB of RAM on any M-series MacBook
1,7/gün ort. +0 son gün 54 commit 2 yazar Python 07 Ağu 2026 güncellendi 6 gün önce
apple-silicon deepseek-v4-flash llm llm-inference local-ai macos metal on-device-ai
152
28
jia-gao/leanctx 321
Drop-in prompt compression for production LLM apps. Cut your token bill 40-60% without changing your code. Python SDK, LLMLingua-2, MIT.
1,6/gün ort. +0 son gün 0 commit 0 yazar Python 18 Nis 2026 güncellendi 22 Ağu 2026
anthropic cost-optimization gemini langchain langgraph llm llm-inference llmlingua
321
29
Burakkylmz/llm-token-economics-lab 18
An experiment-driven LLM engineering lab with 9 reproducible Python experiments exploring token economics, API costs, caching, context growt
1,4/gün ort. +0 son gün — commit Python 21 Eki 2026 güncellendi 5 gün önce
api-performance batch-processing concurrency context-window cost-optimization docker latency llm
18
30
lambda-calculus-LLM/lambda-RLM 308
Method for Long Context RLMs using verifiable Lambda Calculus
1,3/gün ort. +0 son gün 0 commit 0 yazar Python 19 Mar 2026 güncellendi 24 Nis 2026
document-qa functional-programming lambda-calculus llm llm-inference long-context reasoning recursive-language-model
308
31
wladimiravila/esp32s3-distributed-ai 113
Distributed 56M-parameter LLM inference across 3 ESP32-S3 boards via ESP-NOW , Split-PLE + KV cache, fully offline.
1,2/gün ort. +0 son gün 0 commit 0 yazar C 30 Tem 2026 güncellendi 30 Tem 2026
edge-ai edge-ai-engineering edge-ai-models embedded embedded-c embedded-systems esp32 esp32-s3
113
32
AMD-AGI/Hyperloom 258
An agentic system that auto-optimizes LLM workloads on AMD GPUs.
1,2/gün ort. +0 son gün 825 commit 15 yazar Python 27 Mar 2026 güncellendi bugün
agent llm python skills ai-agents amd amd-gpu gpu
258
33
dadwritestech/LlamaForge 120
Open-source control panel for the real llama.cpp: see where a model lands in your VRAM before loading, every llama-server flag per model, on
1/gün ort. +0 son gün — commit Python 06 Tem 2026 güncellendi dün
cuda dashboard gguf gui huggingface inference llama-cpp llama-server
120
34
1picassoai/kraits 14
Run stock llama.cpp with the stock Unsloth Qwen3.6-35B-A3B 4-bit on a 16 GB Mac.
1/gün ort. +0 son gün — commit Shell 20 Eki 2026 güncellendi 8 gün önce
apple-silicon ggml gguf llama-cpp llm llm-inference local-ai local-llm
14
35
BobClawblaw/deepseek-v41-flash-mlx-m5-ultra 14
DeepSeek-V4.1-Flash-1017 on one 256 GB M5 Ultra: 1M context, 70.7-104.9 tok/s decode with DSpark drafts, 1,739-1,867 tok/s cold prompts (8k-
0,9/gün ort. +1 son gün — commit Python 19 Eki 2026 güncellendi 11 gün önce
apple-silicon deepseek deepseek-v4 llm llm-inference long-context m5-ultra metal
14
36
Tylogi/TyloQuant 95
Get more intelligence from every bit. Better quantization formats and smarter calibration let larger, stronger models run smoothly on the ha
0,9/gün ort. +1 son gün — commit C++ 24 Tem 2026 güncellendi 4 gün önce
apple-silicon cuda deepseek gemma gguf llm llm-inference llm-quantization
95
37
Reederey87/glm53-flash-exl3-2x-dgx-spark 63
GLM-5.3-Flash EXL3 (320B MoE) on 2x NVIDIA DGX Spark — production serving kit, 1M context, 97%+ multi-session prefix caching, DFlash2 spec d
0,9/gün ort. +0 son gün — commit Python 27 Ağu 2026 güncellendi 16 gün önce
dgx-spark exl3 flashinfer gb10 glm llm-inference llm-serving self-hosted
63
38
tuff-app/TUFF 69
The local AI app built for the Mac. Run LLMs like Qwen, Gemma and GPT-OSS on Apple Silicon, including models far bigger than your Mac's memo
0,9/gün ort. +0 son gün — commit Swift 16 Ağu 2026 güncellendi dün
ai-chat apple-silicon gemma gpt-oss llm llm-inference local-ai local-ai-models
69
39
Imironman123/llm-interview-notes 45
大模型算法 / 应用 / Infra 岗位面试资料：10 份文档、345 道题、约 36 万字。含字节 11 篇面经实录、大模型八股上下篇、RAG / Agent / 推理部署 / AI Infra 四大专题，以及 12 家大厂面经横向对比。
0,9/gün ort. +4 son gün — commit Python 12 Eyl 2026 güncellendi bugün
ai-agent ai-infra chinese llm-inference llm-interview rag rlhf
45
40
gpillon/ignis 51
OpenAI-compatible inference server for Qwen3.8 on one RTX 5090 / RTX PRO 6000: the 27B at ~170 tok/s (peaks ~370), Flash-Next (125B MoE) at
0,8/gün ort. +1 son gün — commit Rust 01 Eyl 2026 güncellendi bugün
blackwell coding-agents cuda inference-engine llm llm-inference local-llm mixture-of-experts
51
41
0xBakeer/Qwen3.8-27B-FP8-on-a-single-DGX-Spark 55
Serving Qwen3.8-27B-FP8 on a single DGX Spark (GB10): 7.88 to 58.5 tok/s single-stream from decode strategy alone, weights untouched. Specul
0,7/gün ort. +0 son gün — commit Python 16 Ağu 2026 güncellendi 30 Eyl 2026
benchmark dflash2 dgx-spark fp8 gb10 llama-cpp llm-inference llm-serving
55
42
helasaoudi/llm-inspector 76
The htop for LLM inference see exactly where every GB of VRAM goes and get measured quantization savings.
0,7/gün ort. +0 son gün — commit Python 15 Tem 2026 güncellendi 28 Eyl 2026
gpu-monitoring htop inference llm llm-inference llminspect llminspector memory-profiler
76
43
thomas9120/LLama-GUI 134
User friendly GUI for configuring and launching llama.cpp
0,7/gün ort. +0 son gün — commit JavaScript 19 Nis 2026 güncellendi dün
gui llama-cpp llamacpp llm-inference localllama gguf llm
134
44
FareedKhan-dev/glm-5.2-in-c 75
GLM-5.2, a 744 billion parameter mixture of experts model, in a pure C inference engine: quantized to int4, experts streamed from disk, depl
0,7/gün ort. +0 son gün — commit C 15 Tem 2026 güncellendi 15 Tem 2026
c consumer-hardware cpu-inference cuda deep-learning edge-ai glm inference-engine
75
45
Sandermage/sndr_core_engine 133
SNDR Core Engine (Genesis) — vLLM runtime patch-overlay for Qwen3.6 + Gemma4 on consumer NVIDIA (Ampere sm_86, 2× A5000/3090). Qwen3.6-35B-A
0,7/gün ort. +0 son gün — commit Python 17 Nis 2026 güncellendi 01 Eki 2026
cuda llm-inference qwen vllm speculative-decoding tool-calling rtx-3090 awq
133
46
0xBakeer/Qwen3.8-27B-4-bit-on-a-single-DGX-Spark 51
Serving 4-bit Qwen3.8-27B on a single DGX Spark (GB10): 75 tok/s single-stream, 246 tok/s aggregate at 8-way concurrency. NVFP4 vs MixedInt4
0,6/gün ort. +0 son gün — commit Python 16 Ağu 2026 güncellendi 30 Eyl 2026
autoround benchmark dgx-spark gb10 int4 llm-inference llm-serving marlin
51
47
omgitsbase/llmash 37
Ollama-compatible LLM server on a tuned llama.cpp fork. Beats vllm by 40% on single stream decode, and by 20% on multi stream decode, and be
0,6/gün ort. +0 son gün — commit C++ 06 Eyl 2026 güncellendi bugün
abliteration cuda gemma gguf inference-engine llama-cpp llm llm-inference
37
48
duongngocbinh56599-ui/local-llm-lab 94
Honest local LLM deployment planning and benchmarking for high unified-memory Macs and future Linux/NVIDIA rigs.
0,6/gün ort. +0 son gün — commit Python 05 Haz 2026 güncellendi 19 Eyl 2026
apple-silicon benchmark hardware-planning llama-cpp llm-inference local-llm mlx ollama
94
49
Datura-ai/lium-localmaxxing 36
Reproduce Lium's LocalMaxxing leaderboard runs (7 boards, 20 Verified) on a rented Lium GPU in one script — vLLM/llama.cpp recipes, measured
0,6/gün ort. +0 son gün — commit Shell 06 Eyl 2026 güncellendi 26 Eyl 2026
gpu lium reproducible benchmark llama-cpp llm-inference vllm
36
50
infercrane/infercrane 53
Open-source infrastructure for the full inference lifecycle: deploy, observe, scale, optimize, and safely release self-hosted models behind
0,6/gün ort. +0 son gün — commit Go 09 Ağu 2026 güncellendi 2 gün önce
ai-infrastructure aws gcp golang gpu-inference inference kubernetes llm
53