Açık kaynak radarı

Havuz

Takip ettiğimiz konularda yükselen açık kaynak projeler — yıldız ivmesi, gerçek geliştirme aktivitesi ve AI değerlendirmesiyle.

110

repo · sayfa 1 / 3

Sırala

Yıldız/gün (hız)Son gün (★/gün)Son hafta (★/gün)Son ay (★/gün)Toplam yıldız AI önem skoru Bana uyum Commit (28g)Yazar (28g)En yeni

Konu

Tümü AI / LLM18 Veri9 Geliştirici araçları13 Diğer3 SaaS altyapı13 Web11

Süz

Yalnız hareketli Yalnız analizli≥ 0 ≥ 100 ≥ 500 ≥ 2.000

Yalnız hareketli, son 28 günde commit almamış repoları gizler (yıldızı olan ama bırakılmış projeler). Commit sayısı henüz ölçülmemiş repolar da gizlenir.

EtiketTüm GitHub etiketleri — repo sahiplerinin koyduğu topic'lergöster

Sırala:

Etiketler yükleniyor…

Aktif llm-inference

1
mw00/project-maya 2.569
Run GLM-5.3-Flash (321B), DeepSeek-V4.1-Flash (748B) and MiniMax-M3.1-Flash (428B) on your own GPUs - one engine, one dashboard, OpenAI- and
82,9/gün ort. +43 son gün +76,4 son 22g 927 commit 15 yazar Cuda 06 Eki 2026 güncellendi bugün
cuda glm glm-5 llm llm-inference local-llm mixture-of-experts moe
2.569
2
FareedKhan-dev/kimi-k3-in-c önem 38gpt6-luna uyum 20gpt6-luna 10.767
kimi-k3-in-c, Kimi K3 modelinde inference çalıştırmayı hedefleyen bağımlılıksız bir C99 motorudur.
Neden yükseliyor · 57 günde 8.683 yıldız alması ve Kimi K3'ü 8 GB RAM'li CPU'da çalıştırma iddiası dikkat çekiyor; ancak son 28 gündeki 12 commit'in tek yazardan gelmesi, ilginin bağımsız teknik doğrulama veya geniş katkıcı tabanıyla desteklendiğini göstermiyor.
111/gün ort. +396 son gün +61,7 son 30g 0 commit 0 yazar C 01 Ağu 2026 güncellendi 02 Eki 2026
avx2 c99 cpu-inference deep-learning from-scratch inference-engine kimi-k3 linear-attention
10.767
3
ashhart/TensorFold önem 63gpt6-luna uyum 44gpt6-luna 1.664
TensorFold, Apple Silicon ve NVIDIA GPU’larda çeşitli LLM’leri yerel olarak çalıştırıp OpenAI-compatible ve Anthropic API’leri üzerinden sunan bir inference engine’dir.
Neden yükseliyor · 109 günlük yaşına göre 1.055 yıldız ve son 28 günde 143 commit ile 20 farklı yazar kayda değer geliştirme hareketliliği gösteriyor; model ve checkpoint desteğinin genişliği de dikkat çekiyor. Bu veriler ilgiyi açıklayabilir, ancak yıldızların ne zaman kazanıldığı veya üretim kullanımının yaygınlığı bu ölçümlerden anlaşılamaz.
11,9/gün ort. +13 son gün +20,3 son 30g 5.555 commit 9 yazar Zig 19 Haz 2026 güncellendi bugün
ai ai-tools llm llm-inference llm-tools
1.664
4
drumih/turbo-fieldfare önem 57gpt6-luna uyum 32gpt6-luna 7.272
TurboFieldfare, Gemma 4 26B-A4B modelini Apple Silicon Mac’lerde Swift ve Metal tabanlı özel bir runtime ile yerel olarak çalıştırır.
Neden yükseliyor · 72 günde 6828 yıldız alması ve 8 GB RAM’li Mac’te büyük bir model çalıştırma iddiası dikkat çekiyor. README belirli cihazlarda ölçülmüş decode hızları ve deney kayıtları sunuyor; ancak yıldızlar benimseme veya kalite kanıtı değil. Son 28 günde 4 commit ve 1 farklı yazar olması, geliştirme etkinliği ve ekip genişliği açısından sınırlı kanıt sağlıyor.
64,9/gün ort. +48 son gün +13,5 son 30g 3 commit 1 yazar Swift 17 Tem 2026 güncellendi 11 gün önce
apple-silicon gemma gemma4 gemma4-26b-a4b gpgpu llm llm-inference local-ai
7.272
5
drawthingsai/local-code-community 121
Source code of Local Code, a private AI agent for Mac, iPad and iPhone. Runs DeepSeek 4.1 on device, with Python, Node.js and a shell built
7,6/gün ort. +6 son gün +12,3 son 8g 139 commit 3 yazar C 21 Eki 2026 güncellendi bugün
ai artificial-intelligence coding-agent llm llm-agent llm-inference swift ai-agent
121
6
leonxger/deepseek-colab 53
Uncensored DeepSeek-V4.1-Flash IQ2_XS on Google Colab
7,6/gün ort. +2 son gün +9,8 son 4g 1 commit 1 yazar Python 30 Eki 2026 güncellendi 7 gün önce
colab cuda deepseek deepseek-v4 gguf google-colab gpu llama-cpp
53
7
AtomicBot-ai/Atomic-Chat 1.943
Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https
8,8/gün ort. +5 son gün +8,5 son 30g 226 commit 2 yazar TypeScript 31 Mar 2026 güncellendi dün
ai-chat ai-tools apple-silicon chatgpt deepseek desktop-app gemma gguf
1.943
8
carloslfu/slotstream önem 64gpt6-luna uyum 38gpt6-luna 652
Slotstream, büyük bir MoE modelini SSD’den parça parça yükleyip yoğun kullanılan expert’leri bellekte önbelleğe alarak Apple Silicon Mac’lerde çalıştıran yerel bir inference engine’dir.
Neden yükseliyor · README, 48 GB M5 Pro üzerinde belirli koşullarda 15.86 tok/s ölçümü ve prompt işleme iyileştirmeleri yayımlıyor; son 28 günde 271 commit ve 5 farklı yazar da yoğun geliştirme faaliyetine işaret ediyor. Ancak proje yalnızca 30 günlük ve mevcut sürüm için nitelikli tam yanıt hızı ölçümünün hâlâ beklediği belirtiliyor.
9,3/gün ort. +0 son gün +7,7 son 30g 279 commit 3 yazar Swift 28 Ağu 2026 güncellendi 2 gün önce
apple-silicon claude-code inference-engine llm llm-inference local-ai local-llm macos
652
9
nicorobinreal/llmspeed 170
Feel how fast a local LLM runs before you buy the hardware
2,4/gün ort. +1 son gün +6,5 son 20g 19 commit 1 yazar TypeScript 28 Ağu 2026 güncellendi 17 gün önce
benchmark gpu hardware inference llm llm-inference local-llm ollama
170
10
Magnvs7/Promethevs 108
PROMETHEVS: run the full DeepSeek-V4.1-Flash-1017 (510 GB) on a gaming PC with 64 GB RAM and a 12 GB GPU. PROMETHEVS engine (compress-then-c
6,8/gün ort. +3 son gün +6,5 son 13g 12 commit 1 yazar 21 Eki 2026 güncellendi 14 gün önce
deepseek llm local-inference mixture-of-experts quantization consumer-hardware deepseek-v4 llm-inference
108
11
Yamz-Labs/kyojin 230
Kyojin: open-source engine that runs 100 GB-class open models (GLM-5.3, Qwen3.8, DeepSeek V4.1) on one desktop machine. AMD Strix Halo, NVID
6,6/gün ort. +1 son gün +5,8 son 30g 564 commit 3 yazar Python 02 Eki 2026 güncellendi bugün
amd exl3 inference llm quantization rocm strix-halo apple-silicon
230
12
NightMean/OlliteRT 614
Turn your Android phone into an OpenAI-compatible LLM inference server - Fully local, private and Open Source
2,9/gün ort. +1 son gün +3 son 30g 9 commit 1 yazar Kotlin 06 Nis 2026 güncellendi dün
kotlin-android litert litert-lm llm llm-inference openai-api android gemma
614
13
benmaster82/Pithos 25
A dependency-free C inference engine for Liquid AI's LFM2 / LFM2.5 models. Terminal chat, an OpenAI-compatible server, a web agent and a ter
2,5/gün ort. +1 son gün +2,8 son 4g — commit C 27 Eki 2026 güncellendi dün
lfm2 lfm25 ai-agent avx2 c coding-agent cross-platform gguf
25
14
JakeATX/llamAmpere 223
llama.cpp fork for significantly improved performance on Ampere generation Nvidia cards (especially RTX 3090 / 3090 Ti): example: 110+ tok/s
3,7/gün ort. +2 son gün +2,5 son 30g 638 commit 2 yazar C++ 07 Eyl 2026 güncellendi dün
ampere consumer-gpu cuda ggml gguf kv-cache-quantization llama-cpp llm
223
15
Imironman123/llm-interview-notes 57
大模型算法 / 应用 / Infra 岗位面试资料：10 份文档、345 道题、约 36 万字。含字节 11 篇面经实录、大模型八股上下篇、RAG / Agent / 推理部署 / AI Infra 四大专题，以及 12 家大厂面经横向对比。
1/gün ort. +4 son gün +1,7 son 26g — commit Python 12 Eyl 2026 güncellendi 3 gün önce
ai-agent ai-infra chinese llm-inference llm-interview rag rlhf
57
16
gpillon/ignis 55
OpenAI-compatible inference server for Qwen3.8 on one RTX 5090 / RTX PRO 6000: the 27B at ~170 tok/s (peaks ~370), Flash-Next (125B MoE) at
0,8/gün ort. +2 son gün +1,7 son 24g — commit Rust 01 Eyl 2026 güncellendi bugün
blackwell coding-agents cuda inference-engine llm llm-inference local-llm mixture-of-experts
55
17
jaylfc/taOS 603
Self-hosted AI agent OS. Your memory, chat, agents, and files stay on hardware you own, offline by default, cloud by choice. Offline AI memo
2,8/gün ort. +3 son gün +1,6 son 30g 7 commit 1 yazar Python 05 Nis 2026 güncellendi dün
agent-framework ai-agents ai-platform apple-silicon distributed-computing llm orange-pi raspberry-pi
603
18
AMD-AGI/Hyperloom 260
An agentic system that auto-optimizes LLM workloads on AMD GPUs.
1,2/gün ort. +0 son gün +1,5 son 30g — commit Python 27 Mar 2026 güncellendi bugün
agent llm python skills ai-agents amd amd-gpu gpu
260
19
JustVugg/lumabri 213
Run large AI models across your computers and servers. Powered by Colibri. Pure C.
2,3/gün ort. +0 son gün +1,5 son 30g 339 commit 1 yazar C 04 Ağu 2026 güncellendi bugün
c cluster-computing colibri distributed-inference llm-inference local-ai mixture-of-experts peer-to-peer
213
20
OmniJev/Flide 24
🔥🔥 Accelerating decision inference with exact state forking
1,8/gün ort. +2 son gün +1,5 son 2g — commit Python 24 Eki 2026 güncellendi 4 gün önce
gemma inference-engine llm-inference llm-serving pytorch qwen triton ai-agents
24
21
hasso5703/alzeo 250
dgx-spark-qwen38 is an open-source installer that turns an NVIDIA DGX Spark, or any GB10 machine (ASUS, Dell, HP, Lenovo, MSI, GIGABYTE, Ace
3/gün ort. +4 son gün +1,1 son 19g 711 commit 1 yazar Python 15 Ağu 2026 güncellendi bugün
ai-agents asus-ascent-gx10 dgx-spark gb10 image-generation llm-inference local-ai local-llm
250
22
yanun0323/Whallm 151
DeepSeek-V4-Flash-0731 284B inference in ~25 GB of RAM / Qwen3.8-Next-Flash inference in ~15 GB of RAM on any M-series MacBook
1,7/gün ort. -1 son gün +1 son 30g 47 commit 2 yazar Python 07 Ağu 2026 güncellendi 9 gün önce
apple-silicon deepseek-v4-flash llm llm-inference local-ai macos metal on-device-ai
151
23
0xBakeer/TandemLLM 74
An environment where open models work as agents: a first-level harness with routing, skills, memory and sandboxed tools, on an engine that d
1,9/gün ort. +0 son gün +1 son 20g — commit Python 28 Eyl 2026 güncellendi bugün
dgx-spark llm-inference nvfp4 qwen speculative-decoding ai-agents exl3 inference-engine
74
24
dadwritestech/LlamaForge 121
Open-source control panel for the real llama.cpp: see where a model lands in your VRAM before loading, every llama-server flag per model, on
1/gün ort. +1 son gün +0,9 son 30g — commit Python 06 Tem 2026 güncellendi dün
cuda dashboard gguf gui huggingface inference llama-cpp llama-server
121
25
thomas9120/LLama-GUI 138
User friendly GUI for configuring and launching llama.cpp
0,7/gün ort. +0 son gün +0,8 son 30g — commit JavaScript 19 Nis 2026 güncellendi 4 gün önce
gui llama-cpp llamacpp llm-inference localllama gguf llm
138
26
omgitsbase/llmash 37
Ollama-compatible LLM server on a tuned llama.cpp fork. Beats vllm by 40% on single stream decode, and by 20% on multi stream decode, and be
0,6/gün ort. +0 son gün +0,8 son 30g — commit C++ 06 Eyl 2026 güncellendi 3 gün önce
abliteration cuda gemma gguf inference-engine llama-cpp llm llm-inference
37
27
tuff-app/TUFF 70
The local AI app built for the Mac. Run LLMs like Qwen, Gemma and GPT-OSS on Apple Silicon, including models far bigger than your Mac's memo
0,9/gün ort. +0 son gün +0,7 son 30g — commit Swift 16 Ağu 2026 güncellendi 4 gün önce
ai-chat apple-silicon gemma gpt-oss llm llm-inference local-ai local-ai-models
70
28
amurgola/LumaBrowser 135
Local AI desktop app: a Chromium browser with a GPU-aware llama.cpp runtime, OpenAI-compatible API, AI chat and agents, Stable Diffusion ima
4,8/gün ort. +3 son gün +0,6 son 14g 17 commit 1 yazar JavaScript 09 Eki 2026 güncellendi bugün
ai-agents ai-browser browser-automation chatgpt-alternative desktop-app electron gguf llama-cpp
135
29
zeyxx/hermes-antigravity 36
Google Antigravity / Cloud Code Assist inference provider plugin for Hermes Agent
0,6/gün ort. +1 son gün +0,6 son 30g — commit Python 05 Eyl 2026 güncellendi 6 gün önce
ai-agents antigravity claude gemini hermes-agent llm-inference model-provider
36
30
Tylogi/TyloQuant 95
Get more intelligence from every bit. Better quantization formats and smarter calibration let larger, stronger models run smoothly on the ha
0,9/gün ort. +0 son gün +0,5 son 30g — commit C++ 24 Tem 2026 güncellendi dün
apple-silicon cuda deepseek gemma gguf llm llm-inference llm-quantization
95
31
rossoctl/context-guru 73
Context optimization for AI coding agents — lower token cost and latency without sacrificing accuracy.
0,5/gün ort. +0 son gün +0,5 son 30g — commit Go 23 Haz 2026 güncellendi dün
agentic-ai ai ai-agents claude-code claude-code-plugin codex codex-plugin context-engineering
73
32
asher/gmlx 48
Local inference platform for K/IQ-quant GGUF models on Apple Silicon
0,4/gün ort. +1 son gün +0,5 son 30g — commit Python 19 Tem 2026 güncellendi bugün
anthropic-api apple-silicon gguf gguf-model-support gguf-runner inference inference-engine llm
48
33
zhangshuibai/molten 23
Run a coding model at 300+ tok/s on your Mac. Native Rust + Metal inference engine for LiquidAI LFM2.5-24B-A2B (MLX 4-bit) on Apple Silicon.
1,9/gün ort. +0 son gün +0,5 son 11g — commit Metal 25 Eki 2026 güncellendi 8 gün önce
apple-silicon gpu-kernels inference-engine inference-optimization lfm2 liquid-ai llama-cpp llm
23
34
Burakkylmz/llm-token-economics-lab 21
An experiment-driven LLM engineering lab with 9 reproducible Python experiments exploring token economics, API costs, caching, context growt
1,3/gün ort. +0 son gün +0,5 son 8g — commit Python 21 Eki 2026 güncellendi 8 gün önce
api-performance batch-processing concurrency context-window cost-optimization docker latency llm
21
35
huawei-csl/KVarN 516
KVarN is a native vLLM KV-cache quantization backend for your agents: 3-5x more context, throughput above FP16, and FP16-level accuracy. Cal
3,2/gün ort. +1 son gün +0,3 son 30g 0 commit 0 yazar Python 29 May 2026 güncellendi 22 Haz 2026
agentic-ai kv-cache long-context quantization vllm llm llm-inference
516
36
MADEVAL/FerryAI 42
Native AI inference for PHP 8.3+ - run ONNX, GGUF (llama.cpp) and RubixML models directly in your PHP process via FFI. Chat, streaming, embe
0,3/gün ort. +1 son gün +0,3 son 30g — commit PHP 04 Tem 2026 güncellendi 19 gün önce
ai embeddings ffi generative-ai gguf inference llama-cpp llm
42
37
Dami-wq-k03/nano-lmcache 27
📚 An educational, step-by-step implementation of LLM KV cache reuse — learn prefix caching, chunk keys, storage & eviction, from pure Python
1,5/gün ort. +0 son gün +0,3 son 13g — commit Python 19 Eki 2026 güncellendi dün
educational kv-cache llm llm-inference lmcache prefix-caching python vllm
27
38
andrei-borcea/liyab 15
🔥 Run large open language models on your phone. A C++20 GGUF inference engine that streams models larger than RAM from flash, paces itself b
0,5/gün ort. +0 son gün +0,3 son 6g — commit C++ 07 Eki 2026 güncellendi 5 gün önce
edge-ai gguf inference-engine inference-optimization llm llm-inference local-llm on-device-ai
15
39
plotarmordev/thegrill 14
Did your change make your LLM server faster? Measure it: faster, slower, or too close to call. Linux and Apple Silicon.
0,2/gün ort. +0 son gün +0,3 son 3g — commit Rust 09 Eyl 2026 güncellendi 3 gün önce
apple-silicon benchmark cli dgx-spark inference llm llm-inference rust
14
40
architectds/collabosm önem 38gpt6-luna uyum 34gpt6-luna 103
collabosm, kullanıcının Google Colab hesabında GPU başlatıp Qwen3.8 modellerini yerel uygulama ve OpenAI uyumlu API üzerinden kullanmasını sağlar.
Neden yükseliyor · 3 günlük bir repoda 87 yıldız dikkat çekici bir başlangıç; ancak yıldızların neden geldiği ve kullanıcıların uygulamayı gerçekten çalıştırıp çalıştırmadığı mevcut verilerden anlaşılamıyor. Son 28 günlük commit ve farklı yazar ölçümleri de yok.
2,5/gün ort. +0 son gün +0,2 son 30g 3 commit 1 yazar Python 25 Eyl 2026 güncellendi 26 gün önce
colab exllamav3 google-colab gpu llm llm-inference openai-api qwen
103
41
OnlyTerp/turboquant 86
First open-source implementation of Google TurboQuant (ICLR 2026) -- near-optimal KV cache compression for LLM inference. 5x compression wit
0,4/gün ort. +0 son gün +0,2 son 30g — commit Python 25 Mar 2026 güncellendi 25 May 2026
attention compression deep-learning google-research iclr kv-cache kv-cache-compression llm
86
42
rsalmn/ExtremeRouter 50
Enchant Version of 9Router. 304+ Providers (API-key, OAuth, free-tier, and 39 web-cookie providers), 6 combo strategies (fallback, round-rob
0,4/gün ort. +1 son gün +0,2 son 30g — commit JavaScript 03 Tem 2026 güncellendi 4 gün önce
ai-agents ai-assistant ai-gateway ai-tools anthropic-claude chatgpt claude-api claude-code
50
43
anthony-chaudhary/fak 46
Agentic Runtime
0,3/gün ort. +0 son gün +0,2 son 30g — commit Go 21 Haz 2026 güncellendi bugün
agent-kernel agentic-ai ai-agents ai-gateway claude-code context-compression gguf golang
46
44
rajveer43/VeloxQuant-MLX 34
Fast KV-cache quantization for Apple Silicon (MLX) — 43 research-adapted compression methods with Metal kernels
0,2/gün ort. +0 son gün +0,2 son 30g — commit Python 19 Nis 2026 güncellendi 2 gün önce
kv llm mlx quantization kv-cache macos ondeviceai apple-silicon
34
45
Quartermaster-Labs/Quartermaster 33
Local AI for your whole house: chat, images and voice on your own GPU. Computes each model's flags, fits them to your VRAM, and hot-swaps th
0,2/gün ort. +0 son gün +0,2 son 30g — commit Go 17 Haz 2026 güncellendi 5 gün önce
anthropic-api gguf golang image-generation inference-server llamacpp llm llm-inference
33
46
NVIDIA/swe-serve 23
SWE-Serve: an agentic benchmark of 53 production inference-engineering tasks derived from merged SGLang pull requests, run with Harbor.
0,5/gün ort. +0 son gün +0,2 son 30g — commit Python 18 Eyl 2026 güncellendi 28 gün önce
benchmark evaluation llm-agents llm-inference sglang
23
47
shyringo/qwen3.8-flash-next-in-c 23
The best model under 200B at near 10 token/s exact batch throughput on a single laptop CPU, with an automatic 8 GB RAM path. Native C, no GP
0,4/gün ort. +0 son gün +0,2 son 30g — commit C 03 Eyl 2026 güncellendi 09 Eyl 2026
ai c cpu-inference generative-ai gguf inference inference-engine large-language-models
23
48
quantumaikr/quant.cpp 406
LLM inference with 7x longer context. Pure C, zero dependencies. Lossless KV cache compression + single-header library.
1,8/gün ort. +1 son gün +0,1 son 30g 0 commit 0 yazar C 28 Mar 2026 güncellendi 26 Nis 2026
delta-compression embeddable gguf kv-cache llm llm-inference pure-c quantization
406
49
matt-k-wong/mlx-flash 141
Flash weight streaming for MLX: run massive models larger than your RAM on Apple Silicon.
0,6/gün ort. +0 son gün +0,1 son 30g — commit Python 20 Mar 2026 güncellendi 13 Haz 2026
apple-silicon llm-inference lm-studio macos memory-optimization mlx llm weight-streaming
141
50
wladimiravila/esp32s3-distributed-ai 113
Distributed 56M-parameter LLM inference across 3 ESP32-S3 boards via ESP-NOW , Split-PLE + KV cache, fully offline.
1,1/gün ort. +0 son gün +0,1 son 30g — commit C 30 Tem 2026 güncellendi 30 Tem 2026
edge-ai edge-ai-engineering edge-ai-models embedded embedded-c embedded-systems esp32 esp32-s3
113