Havuz

kimi-k3-in-c, Kimi K3 modelinde inference çalıştırmayı hedefleyen bağımlılıksız bir C99 motorudur.

Neden yükseliyor · 57 günde 8.683 yıldız alması ve Kimi K3'ü 8 GB RAM'li CPU'da çalıştırma iddiası dikkat çekiyor; ancak son 28 gündeki 12 commit'in tek yazardan gelmesi, ilginin bağımsız teknik doğrulama veya geniş katkıcı tabanıyla desteklendiğini göstermiyor.

TensorFold, Apple Silicon ve NVIDIA GPU’larda çeşitli LLM’leri yerel olarak çalıştırıp OpenAI-compatible ve Anthropic API’leri üzerinden sunan bir inference engine’dir.

Neden yükseliyor · 109 günlük yaşına göre 1.055 yıldız ve son 28 günde 143 commit ile 20 farklı yazar kayda değer geliştirme hareketliliği gösteriyor; model ve checkpoint desteğinin genişliği de dikkat çekiyor. Bu veriler ilgiyi açıklayabilir, ancak yıldızların ne zaman kazanıldığı veya üretim kullanımının yaygınlığı bu ölçümlerden anlaşılamaz.

TurboFieldfare, Gemma 4 26B-A4B modelini Apple Silicon Mac’lerde Swift ve Metal tabanlı özel bir runtime ile yerel olarak çalıştırır.

Neden yükseliyor · 72 günde 6828 yıldız alması ve 8 GB RAM’li Mac’te büyük bir model çalıştırma iddiası dikkat çekiyor. README belirli cihazlarda ölçülmüş decode hızları ve deney kayıtları sunuyor; ancak yıldızlar benimseme veya kalite kanıtı değil. Son 28 günde 4 commit ve 1 farklı yazar olması, geliştirme etkinliği ve ekip genişliği açısından sınırlı kanıt sağlıyor.

Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https

Slotstream, büyük bir MoE modelini SSD’den parça parça yükleyip yoğun kullanılan expert’leri bellekte önbelleğe alarak Apple Silicon Mac’lerde çalıştıran yerel bir inference engine’dir.

Neden yükseliyor · README, 48 GB M5 Pro üzerinde belirli koşullarda 15.86 tok/s ölçümü ve prompt işleme iyileştirmeleri yayımlıyor; son 28 günde 271 commit ve 5 farklı yazar da yoğun geliştirme faaliyetine işaret ediyor. Ancak proje yalnızca 30 günlük ve mevcut sürüm için nitelikli tam yanıt hızı ölçümünün hâlâ beklediği belirtiliyor.

Turn your Android phone into an OpenAI-compatible LLM inference server - Fully local, private and Open Source

llama.cpp fork for significantly improved performance on Ampere generation Nvidia cards (especially RTX 3090 / 3090 Ti): example: 110+ tok/s

Glyd, model ağırlıklarını ve KV cache'i bit düzeyinde kayıpsız biçimde sıkıştırıp GPU'da kullanmayı hedefleyen bir compression yazılımıdır.

Neden yükseliyor · README, yaygın bir maliyet sorununa doğrudan yanıt verdiğini ve 32B ile 72B modellerde daha az GPU ile çalışmaya dair ölçümler sunuyor; ancak 9 günlük repoda 170 yıldız ve 474 commit'in yalnızca 2 farklı yazardan gelmesi, ilginin ve geliştirme temposunun geniş bir katkıcı tabanına dayandığını göstermiyor. Yükselişin kesin kaynağı veya bağımsız benimsenme verisi bilinmiyor.

Self-hosted AI agent OS. Your memory, chat, agents, and files stay on hardware you own, offline by default, cloud by choice. Offline AI memo

An agentic system that auto-optimizes LLM workloads on AMD GPUs.

DeepSeek-V4-Flash-0731 284B inference in ~25 GB of RAM / Qwen3.8-Next-Flash inference in ~15 GB of RAM on any M-series MacBook

User friendly GUI for configuring and launching llama.cpp

KVarN is a native vLLM KV-cache quantization backend for your agents: 3-5x more context, throughput above FP16, and FP16-level accuracy. Cal

collabosm, kullanıcının Google Colab hesabında GPU başlatıp Qwen3.8 modellerini yerel uygulama ve OpenAI uyumlu API üzerinden kullanmasını sağlar.

Neden yükseliyor · 3 günlük bir repoda 87 yıldız dikkat çekici bir başlangıç; ancak yıldızların neden geldiği ve kullanıcıların uygulamayı gerçekten çalıştırıp çalıştırmadığı mevcut verilerden anlaşılamıyor. Son 28 günlük commit ve farklı yazar ölçümleri de yok.

LLM inference with 7x longer context. Pure C, zero dependencies. Lossless KV cache compression + single-header library.

Flash weight streaming for MLX: run massive models larger than your RAM on Apple Silicon.

Distributed 56M-parameter LLM inference across 3 ESP32-S3 boards via ESP-NOW , Split-PLE + KV cache, fully offline.

[NeurIPS 2026 Spotlight] Fast, lossless LLM inference via dual-view diffusion decoding.

Method for Long Context RLMs using verifiable Lambda Calculus

SNDR Core Engine (Genesis) — vLLM runtime patch-overlay for Qwen3.6 + Gemma4 on consumer NVIDIA (Ampere sm_86, 2× A5000/3090). Qwen3.6-35B-A

Drop-in prompt compression for production LLM apps. Cut your token bill 40-60% without changing your code. Python SDK, LLMLingua-2, MIT.

Open-source local AI workspace — advancing on-device inference.