Açık kaynak radarı

Havuz

Takip ettiğimiz konularda yükselen açık kaynak projeler — yıldız ivmesi, gerçek geliştirme aktivitesi ve AI değerlendirmesiyle.

108

repo · sayfa 1 / 3

Sırala

Yıldız/gün (hız)Son gün (★/gün)Son hafta (★/gün)Son ay (★/gün)Toplam yıldız AI önem skoru Bana uyum Commit (28g)Yazar (28g)En yeni

Konu

Tümü AI / LLM18 Veri9 Geliştirici araçları13 Diğer3 SaaS altyapı13 Web11

Süz

Yalnız hareketli Yalnız analizli≥ 0 ≥ 100 ≥ 500 ≥ 2.000

Yalnız hareketli, son 28 günde commit almamış repoları gizler (yıldızı olan ama bırakılmış projeler). Commit sayısı henüz ölçülmemiş repolar da gizlenir.

EtiketTüm GitHub etiketleri — repo sahiplerinin koyduğu topic'lergöster

Sırala:

Etiketler yükleniyor…

Aktif llm-inference

1
leonxger/deepseek-colab 47
Uncensored DeepSeek-V4.1-Flash IQ2_XS on Google Colab
9,4/gün ort. +23 son gün 1 commit 1 yazar Python 30 Eki 2026 güncellendi 5 gün önce
colab cuda deepseek deepseek-v4 gguf google-colab gpu llama-cpp
47
2
benmaster82/Pithos 20
A dependency-free C inference engine for Liquid AI's LFM2 / LFM2.5 models. Terminal chat, an OpenAI-compatible server, a web agent and a ter
2,5/gün ort. +2 son gün — commit C 27 Eki 2026 güncellendi dün
lfm2 lfm25 ai-agent avx2 c coding-agent cross-platform gguf
20
3
zhangshuibai/molten 23
Run a coding model at 300+ tok/s on your Mac. Native Rust + Metal inference engine for LiquidAI LFM2.5-24B-A2B (MLX 4-bit) on Apple Silicon.
2,3/gün ort. +0 son gün — commit Metal 25 Eki 2026 güncellendi 6 gün önce
apple-silicon gpu-kernels inference-engine inference-optimization lfm2 liquid-ai llama-cpp llm
23
4
drawthingsai/local-code-community 112
Source code of Local Code, a private AI agent for Mac, iPad and iPhone. Runs DeepSeek 4.1 on device, with Python, Node.js and a shell built
8/gün ort. +9 son gün 122 commit 3 yazar C 21 Eki 2026 güncellendi bugün
ai artificial-intelligence coding-agent llm llm-agent llm-inference swift ai-agent
112
5
Magnvs7/Promethevs 99
PROMETHEVS: run the full DeepSeek-V4.1-Flash-1017 (510 GB) on a gaming PC with 64 GB RAM and a 12 GB GPU. PROMETHEVS engine (compress-then-c
7,1/gün ort. +14 son gün 12 commit 1 yazar 21 Eki 2026 güncellendi 12 gün önce
deepseek llm local-inference mixture-of-experts quantization consumer-hardware deepseek-v4 llm-inference
99
6
Burakkylmz/llm-token-economics-lab 18
An experiment-driven LLM engineering lab with 9 reproducible Python experiments exploring token economics, API costs, caching, context growt
1,3/gün ort. +0 son gün — commit Python 21 Eki 2026 güncellendi 6 gün önce
api-performance batch-processing concurrency context-window cost-optimization docker latency llm
18
7
1picassoai/kraits 14
Run stock llama.cpp with the stock Unsloth Qwen3.6-35B-A3B 4-bit on a 16 GB Mac.
0,9/gün ort. +0 son gün — commit Shell 20 Eki 2026 güncellendi 9 gün önce
apple-silicon ggml gguf llama-cpp llm llm-inference local-ai local-llm
14
8
Dami-wq-k03/nano-lmcache 27
📚 An educational, step-by-step implementation of LLM KV cache reuse — learn prefix caching, chunk keys, storage & eviction, from pure Python
1,7/gün ort. +1 son gün — commit Python 19 Eki 2026 güncellendi dün
educational kv-cache llm llm-inference lmcache prefix-caching python vllm
27
9
BobClawblaw/deepseek-v41-flash-mlx-m5-ultra 14
DeepSeek-V4.1-Flash-1017 on one 256 GB M5 Ultra: 1M context, 70.7-104.9 tok/s decode with DSpark drafts, 1,739-1,867 tok/s cold prompts (8k-
0,9/gün ort. +0 son gün — commit Python 19 Eki 2026 güncellendi 12 gün önce
apple-silicon deepseek deepseek-v4 llm llm-inference long-context m5-ultra metal
14
10
amurgola/LumaBrowser 131
Local AI desktop app: a Chromium browser with a GPU-aware llama.cpp runtime, OpenAI-compatible API, AI chat and agents, Stable Diffusion ima
5/gün ort. +1 son gün 15 commit 1 yazar JavaScript 09 Eki 2026 güncellendi 2 gün önce
ai-agents ai-browser browser-automation chatgpt-alternative desktop-app electron gguf llama-cpp
131
11
andrei-borcea/liyab 15
🔥 Run large open language models on your phone. A C++20 GGUF inference engine that streams models larger than RAM from flash, paces itself b
0,5/gün ort. +1 son gün — commit C++ 07 Eki 2026 güncellendi 3 gün önce
edge-ai gguf inference-engine inference-optimization llm llm-inference local-llm on-device-ai
15
12
mw00/project-maya 2.485
Project Maya - run GLM-5.3-Flash (321B MoE), DeepSeek-V4.1-Flash-1017 (748B MoE) and MiniMax-M3.1-Flash (428B MoE) privately on your own GPU
85,7/gün ort. +37 son gün 978 commit 21 yazar Cuda 06 Eki 2026 güncellendi bugün
cuda glm glm-5 llm llm-inference local-llm mixture-of-experts moe
2.485
13
DominikBucko/qwen38-flash-next-3090 13
Run Qwen3.8-Flash-Next on ONE RTX 3090 (24 GB) + 64 GB RAM: 128K context, up to 2,100 tok/s prefill, 43–51 tok/s decode. vLLM runtime with h
0,4/gün ort. +0 son gün — commit Python 30 Eyl 2026 güncellendi 30 Eyl 2026
128k-context 24gb-vram consumer-gpu cpu-offloading int4 kv-cache-quantization llm llm-inference
13
14
0xBakeer/TandemLLM 73
An environment where open models work as agents: a first-level harness with routing, skills, memory and sandboxed tools, on an engine that d
2/gün ort. +0 son gün — commit Python 28 Eyl 2026 güncellendi bugün
dgx-spark llm-inference nvfp4 qwen speculative-decoding ai-agents exl3 inference-engine
73
15
architectds/collabosm önem 38gpt6-luna uyum 34gpt6-luna 103
collabosm, kullanıcının Google Colab hesabında GPU başlatıp Qwen3.8 modellerini yerel uygulama ve OpenAI uyumlu API üzerinden kullanmasını sağlar.
Neden yükseliyor · 3 günlük bir repoda 87 yıldız dikkat çekici bir başlangıç; ancak yıldızların neden geldiği ve kullanıcıların uygulamayı gerçekten çalıştırıp çalıştırmadığı mevcut verilerden anlaşılamıyor. Son 28 günlük commit ve farklı yazar ölçümleri de yok.
2,6/gün ort. +0 son gün 3 commit 1 yazar Python 25 Eyl 2026 güncellendi 24 gün önce
colab exllamav3 google-colab gpu llm llm-inference openai-api qwen
103
16
Verzeta/Verzeta-Studio 20
Open-source, local-first AI team workspace. Several AI models work together in one conversation, each with its own provider, model and tool
0,5/gün ort. +1 son gün — commit C++ 25 Eyl 2026 güncellendi 28 Eyl 2026
agentic-ai ai-agents ai-harness ai-teams ai-workspace cpp kirigami llm
20
17
emnlmn/snap 9
Typed decisions from unstructured state: one forward pass, zero generated text. Local, deterministic, Jev-compatible. Not affiliated with ty
0,2/gün ort. +1 son gün — commit Rust 23 Eyl 2026 güncellendi 27 gün önce
decision-engine gguf llamacpp llm llm-inference local-llm rust structured-outputs
9
18
surya-koritala/Glyd önem 54gpt6-luna uyum 10gpt6-luna 321
Glyd, model ağırlıklarını ve KV cache'i bit düzeyinde kayıpsız biçimde sıkıştırıp GPU'da kullanmayı hedefleyen bir compression yazılımıdır.
Neden yükseliyor · README, yaygın bir maliyet sorununa doğrudan yanıt verdiğini ve 32B ile 72B modellerde daha az GPU ile çalışmaya dair ölçümler sunuyor; ancak 9 günlük repoda 170 yıldız ve 474 commit'in yalnızca 2 farklı yazardan gelmesi, ilginin ve geliştirme temposunun geniş bir katkıcı tabanına dayandığını göstermiyor. Yükselişin kesin kaynağı veya bağımsız benimsenme verisi bilinmiyor.
7/gün ort. +0 son gün 41 commit 1 yazar Rust 19 Eyl 2026 güncellendi 2 gün önce
compression data-compression entropy-coding lossless-compression lz4 object-storage rust simd
321
19
NVIDIA/swe-serve 23
SWE-Serve: an agentic benchmark of 53 production inference-engineering tasks derived from merged SGLang pull requests, run with Harbor.
0,5/gün ort. +0 son gün — commit Python 18 Eyl 2026 güncellendi 26 gün önce
benchmark evaluation llm-agents llm-inference sglang
23
20
Imironman123/llm-interview-notes 50
大模型算法 / 应用 / Infra 岗位面试资料：10 份文档、345 道题、约 36 万字。含字节 11 篇面经实录、大模型八股上下篇、RAG / Agent / 推理部署 / AI Infra 四大专题，以及 12 家大厂面经横向对比。
0,9/gün ort. +5 son gün — commit Python 12 Eyl 2026 güncellendi dün
ai-agent ai-infra llm-inference rag rlhf chinese llm-interview
50
21
wundercorp/loki 28
The agent that evolves with you 𖤍
0,5/gün ort. +0 son gün — commit Python 11 Eyl 2026 güncellendi 3 gün önce
agent agent-orchestration agent-skills agentic-ai agents ai autonomous-agents cli
28
22
plotarmordev/thegrill 14
Did your change make your LLM server faster? Measure it: faster, slower, or too close to call. Linux and Apple Silicon.
0,3/gün ort. +1 son gün — commit Rust 09 Eyl 2026 güncellendi dün
apple-silicon benchmark cli dgx-spark inference llm llm-inference rust
14
23
talhatahir-10xe/CuQwen 13
High-performance CUDA inference engine for Qwen models, written from scratch in C++/CUDA
0,2/gün ort. +0 son gün — commit Cuda 08 Eyl 2026 güncellendi 20 gün önce
cplusplus cuda cuda-kernels cuda-programming gpu-acceleration llm llm-inference nvidia
13
24
JakeATX/llamAmpere 216
llama.cpp fork for significantly improved performance on Ampere generation Nvidia cards (especially RTX 3090 / 3090 Ti): example: 110+ tok/s
3,7/gün ort. +2 son gün 718 commit 2 yazar C++ 07 Eyl 2026 güncellendi dün
ampere consumer-gpu cuda ggml gguf kv-cache-quantization llama-cpp llm
216
25
omgitsbase/llmash 37
Ollama-compatible LLM server on a tuned llama.cpp fork. Beats vllm by 40% on single stream decode, and by 20% on multi stream decode, and be
0,6/gün ort. +0 son gün — commit C++ 06 Eyl 2026 güncellendi dün
llm ollama ollama-api local-first qwen abliteration cuda gemma
37
26
Datura-ai/lium-localmaxxing 36
Reproduce Lium's LocalMaxxing leaderboard runs (7 boards, 20 Verified) on a rented Lium GPU in one script — vLLM/llama.cpp recipes, measured
0,6/gün ort. +0 son gün — commit Shell 06 Eyl 2026 güncellendi 26 Eyl 2026
gpu lium reproducible benchmark llama-cpp llm-inference vllm
36
27
zeyxx/hermes-antigravity 35
Google Antigravity / Cloud Code Assist inference provider plugin for Hermes Agent
0,6/gün ort. +0 son gün — commit Python 05 Eyl 2026 güncellendi 4 gün önce
ai-agents antigravity claude gemini hermes-agent llm-inference model-provider
35
28
shyringo/qwen3.8-flash-next-in-c 23
The best model under 200B at near 10 token/s exact batch throughput on a single laptop CPU, with an automatic 8 GB RAM path. Native C, no GP
0,4/gün ort. +0 son gün — commit C 03 Eyl 2026 güncellendi 09 Eyl 2026
c cpu-inference gguf inference-engine llm llm-inference local-ai local-llm
23
29
gpillon/ignis 51
OpenAI-compatible inference server for Qwen3.8 on one RTX 5090 / RTX PRO 6000: the 27B at ~170 tok/s (peaks ~370), Flash-Next (125B MoE) at
0,8/gün ort. +0 son gün — commit Rust 01 Eyl 2026 güncellendi bugün
blackwell coding-agents cuda inference-engine llm llm-inference local-llm mixture-of-experts
51
30
carloslfu/slotstream önem 64gpt6-luna uyum 38gpt6-luna 650
Slotstream, büyük bir MoE modelini SSD’den parça parça yükleyip yoğun kullanılan expert’leri bellekte önbelleğe alarak Apple Silicon Mac’lerde çalıştıran yerel bir inference engine’dir.
Neden yükseliyor · README, 48 GB M5 Pro üzerinde belirli koşullarda 15.86 tok/s ölçümü ve prompt işleme iyileştirmeleri yayımlıyor; son 28 günde 271 commit ve 5 farklı yazar da yoğun geliştirme faaliyetine işaret ediyor. Ancak proje yalnızca 30 günlük ve mevcut sürüm için nitelikli tam yanıt hızı ölçümünün hâlâ beklediği belirtiliyor.
9,6/gün ort. +5 son gün 114 commit 3 yazar Swift 28 Ağu 2026 güncellendi 2 gün önce
apple-silicon llm llm-inference local-llm macos mixture-of-experts mlx ollama
650
31
nicorobinreal/llmspeed 169
Feel how fast a local LLM runs before you buy the hardware
2,5/gün ort. +1 son gün — commit TypeScript 28 Ağu 2026 güncellendi 15 gün önce
llm benchmark gpu hardware inference llm-inference local-llm ollama
169
32
Reederey87/glm53-flash-exl3-2x-dgx-spark 64
GLM-5.3-Flash EXL3 (320B MoE) on 2x NVIDIA DGX Spark — production serving kit, 1M context, 97%+ multi-session prefix caching, DFlash2 spec d
0,9/gün ort. +1 son gün — commit Python 27 Ağu 2026 güncellendi bugün
dgx-spark flashinfer gb10 glm llm-inference self-hosted sparse-attention tensor-parallel
64
33
ruashots/flashnext-2x3090 17
What I run on my inference server: Qwen3.8-Flash-Next on two RTX 3090s, and how I got here
0,2/gün ort. +0 son gün — commit Python 27 Ağu 2026 güncellendi 23 gün önce
benchmark llama-cpp llm-inference local-llm mixture-of-experts qwen rtx-3090
17
34
peonist-ai/crucible 13
MoE expert compression toolkit — prune, merge, and forge specialist models for local inference.
0,2/gün ort. +0 son gün — commit Python 27 Ağu 2026 güncellendi dün
expert-pruning gguf llama-cpp llm llm-inference local-llm machine-learning mixture-of-experts
13
35
siris9476/pulsarforge 23
0,3/gün ort. +0 son gün — commit C 25 Ağu 2026 güncellendi 10 Eyl 2026
avx2 c11 cpu-inference cpu-only gguf inference llama-cpp llm
23
36
zorost/sparkduet 0
Serve DeepSeek and Qwen, run an on-demand model library, and fine-tune with Unsloth QLoRA on 2x NVIDIA DGX Spark. TP=2 vLLM lanes behind one
0/gün ort. +0 son gün — commit Python 25 Ağu 2026 güncellendi 07 Eyl 2026
coding-agents deepseek dgx-spark fine-tuning gb10 homelab llama-swap llm-inference
0
37
shyringo/qwen3.8-27b-in-c 23
Qwen3.8-27B on one laptop CPU: up to 2.52 token/s, 8 GB tested, no runtime accuracy loss. Native OpenAI-compatible API with function tools;
0,3/gün ort. +0 son gün — commit C 24 Ağu 2026 güncellendi 09 Eyl 2026
c cpu-inference gguf inference-engine llm llm-inference local-ai local-llm
23
38
sauravsingla/MemVanta 40
Low-memory C++20 LLM inference runtime for quantized GGUF models on CPU — mmap-backed weights, paged KV cache, Q4/Q8 kernels, and reproducib
0,5/gün ort. +0 son gün — commit C++ 20 Ağu 2026 güncellendi 3 gün önce
llm llm-inference local-llm benchmarking cpp cpp20 cpu-inference edge-ai
40
39
tuff-app/TUFF 69
The local AI app built for the Mac. Run LLMs like Qwen, Gemma and GPT-OSS on Apple Silicon, including models far bigger than your Mac's memo
0,9/gün ort. +0 son gün — commit Swift 16 Ağu 2026 güncellendi 2 gün önce
gemma gpt-oss local-ai local-llm macos macos-app qwen apple-silicon
69
40
0xBakeer/Qwen3.8-27B-FP8-on-a-single-DGX-Spark 55
Serving Qwen3.8-27B-FP8 on a single DGX Spark (GB10): 7.88 to 58.5 tok/s single-stream from decode strategy alone, weights untouched. Specul
0,7/gün ort. +0 son gün — commit Python 16 Ağu 2026 güncellendi 30 Eyl 2026
benchmark dflash2 dgx-spark fp8 gb10 llama-cpp llm-inference llm-serving
55
41
0xBakeer/Qwen3.8-27B-4-bit-on-a-single-DGX-Spark 51
Serving 4-bit Qwen3.8-27B on a single DGX Spark (GB10): 75 tok/s single-stream, 246 tok/s aggregate at 8-way concurrency. NVFP4 vs MixedInt4
0,6/gün ort. +0 son gün — commit Python 16 Ağu 2026 güncellendi 30 Eyl 2026
autoround benchmark dgx-spark gb10 int4 llm-inference llm-serving marlin
51
42
shyringo/deepseek-v4-flash-0731-in-c 28
Run the native 284B-A13B DeepSeek-V4-Flash-0731 LLM locally on one laptop CPU: pure C, 8 GB RAM minimum, no GPU, best TPOT 0.892 s/token, re
0,4/gün ort. +0 son gün — commit C 16 Ağu 2026 güncellendi 09 Eyl 2026
c deepseek deepseek-v4 inference-engine llm llm-inference local-llm mixture-of-experts
28
43
pochenai/llm-inference-calculator 22
A static performance model for LLM inference: given (model, GPU, interconnect, workload), instantly answer VRAM feasibility, latency(TTFT, T
0,3/gün ort. +0 son gün — commit TypeScript 16 Ağu 2026 güncellendi 29 gün önce
llm-inference llm llm-tools
22
44
hasso5703/alzeo 245
dgx-spark-qwen38 is an open-source installer that turns an NVIDIA DGX Spark, or any GB10 machine (ASUS, Dell, HP, Lenovo, MSI, GIGABYTE, Ace
3/gün ort. +0 son gün — commit Python 15 Ağu 2026 güncellendi dün
ai-agents asus-ascent-gx10 dgx-spark gb10 image-generation llm-inference local-ai local-llm
245
45
leenkcool/humanasllm 29
Human as Agent（人即智能体）· Human-as-LLM 人工代理网关：把工程师变成模型，OpenAI 兼容 /v1 接入 Agent 调度池，涉密/需人工任务路由给真实工程师。为 AI Agent 提效、为平台/运维收集工单。Human-as-LLM Gate
0,3/gün ort. +0 son gün — commit JavaScript 12 Ağu 2026 güncellendi 5 gün önce
ai ai-agent ai-agents ai-model ai-tools llm llm-agent llm-agents
29
46
noname9006/LlamaToaster 15
Benchmark llama.cpp on your own GPU/CPU boxes and compare against everyone else's — sweep runner, an sha256-keyed index of ~4M GGUF files, a
0,2/gün ort. +0 son gün — commit TypeScript 12 Ağu 2026 güncellendi dün
benchmark fastify gguf gpu huggingface inference-performance llama-cpp llamacpp
15
47
infercrane/infercrane 53
Open-source infrastructure for the full inference lifecycle: deploy, observe, scale, optimize, and safely release self-hosted models behind
0,6/gün ort. +0 son gün — commit Go 09 Ağu 2026 güncellendi dün
ai-infrastructure aws gcp golang inference kubernetes llm mlops
53
48
yanun0323/Whallm 152
DeepSeek-V4-Flash-0731 284B inference in ~25 GB of RAM / Qwen3.8-Next-Flash inference in ~15 GB of RAM on any M-series MacBook
1,7/gün ort. +0 son gün 53 commit 2 yazar Python 07 Ağu 2026 güncellendi 7 gün önce
apple-silicon deepseek-v4-flash llm llm-inference local-ai macos metal on-device-ai
152
49
JustVugg/lumabri 212
Run large AI models across your computers and servers. Powered by Colibri. Pure C.
2,3/gün ort. +1 son gün — commit C 04 Ağu 2026 güncellendi bugün
c cluster-computing colibri distributed-inference llm-inference local-ai mixture-of-experts peer-to-peer
212
50
FareedKhan-dev/kimi-k3-in-c önem 38gpt6-luna uyum 20gpt6-luna 9.899
kimi-k3-in-c, Kimi K3 modelinde inference çalıştırmayı hedefleyen bağımlılıksız bir C99 motorudur.
Neden yükseliyor · 57 günde 8.683 yıldız alması ve Kimi K3'ü 8 GB RAM'li CPU'da çalıştırma iddiası dikkat çekiyor; ancak son 28 gündeki 12 commit'in tek yazardan gelmesi, ilginin bağımsız teknik doğrulama veya geniş katkıcı tabanıyla desteklendiğini göstermiyor.
104,2/gün ort. +434 son gün 0 commit 0 yazar C 01 Ağu 2026 güncellendi 02 Eki 2026
avx2 c99 cpu-inference deep-learning from-scratch inference-engine kimi-k3 linear-attention
9.899