Havuz

Slotstream, büyük bir MoE modelini SSD’den parça parça yükleyip yoğun kullanılan expert’leri bellekte önbelleğe alarak Apple Silicon Mac’lerde çalıştıran yerel bir inference engine’dir.

Neden yükseliyor · README, 48 GB M5 Pro üzerinde belirli koşullarda 15.86 tok/s ölçümü ve prompt işleme iyileştirmeleri yayımlıyor; son 28 günde 271 commit ve 5 farklı yazar da yoğun geliştirme faaliyetine işaret ediyor. Ancak proje yalnızca 30 günlük ve mevcut sürüm için nitelikli tam yanıt hızı ölçümünün hâlâ beklediği belirtiliyor.

Bonsai-demo, Bonsai 2 27B modelini yerel donanımda çalıştırmak için kurulum betikleri ve llama.cpp/MLX tabanlı demo arayüzleri sunar.

Neden yükseliyor · Yerel LLM çalıştırma ve düşük bitli model formatlarına ilgiyle örtüşüyor; 186 günde 3.148 yıldızın yanında son 28 günde 54 commit ve 25 farklı yazar, depoda kayda değer güncel aktivite olduğunu gösteriyor. Bu metrikler ilginin nedenini tek başına kanıtlamaz; artışın kaynağına dair veri verilmemiş.

SiliconScope, Apple Silicon Mac’lerde sistem kaynaklarını ve özel hızlandırıcıları izleyen, ayrıca uzaktaki makineleri aynı panele ekleyebilen bir macOS monitörüdür.

Neden yükseliyor · 111 günde 966 yıldıza ulaşması ve son 28 günde 48 commit alması dikkat çekiyor; README’deki ANE ve memory-bandwidth ölçümleriyle uzaktaki makineleri tek panelde toplama özellikleri de ayırt edici bir kullanım vaadi sunuyor. Üç farklı yazar aktiviteye işaret etse de ekip genişliği sınırlı; yıldızlar tek başına benimseme veya kalite kanıtı değil.

Spark-X2.5, yerel çalıştırma ve agent iş akışları için tasarlanmış 1.7B ve 4B boyutlarında açık dil modelleri serisidir.

Neden yükseliyor · Yeni model serisi; uzun context, küçük model boyutu ve agent/coding yeteneklerini aynı anda öne çıkarıyor. README'de 34 günlük yaş, 386 yıldız ve son 28 günde 9 commit ile 2 farklı yazar bilgisi var; bunlar erken ilgi ve güncel çalışma gösteriyor, ancak model performansını bağımsız olarak kanıtlamıyor.

Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https

⚡ Native MLX Swift LLM inference server for Apple Silicon. OpenAI-compatible API, SSD streaming for 100B+ MoE models, TurboQuant KV cache co

On-device meeting capture, dictation, and vault-native knowledge layer for macOS. Nothing leaves your Mac.

a community oriented 1:1, vLLM-alike (Continuous batching, paged KV) engine in C++ with additional features (GGUF, RadixAttention, Cache-awa

Your AI intranet: network the computers you already own for inference and training.

Open source, terminal-first AI coding agent with fully transparent multi-model routing. Local (Ollama, LM Studio, MLX, llama.cpp) or cloud,

JANG — GGUF for MLX. YOU MUST USE JANG_Q RUNTIME. Adaptive Mixed-Precision Quantization + Runtime for Apple Silicon

Run LLMs on Apple devices with CoreML, optimized for Apple Neural Engine + GPU

A local LLM server built for concurrent work. Drop-in replacement for Ollama and/or OpenAI and Ollama APIs on one port. Requests that share

A local-first workspace for documents, tasks and meetings on macOS — nested spaces, typed properties, relations and saved views, with transc

LLM frontend for roleplay and creative writing

Tree-based speculative decoding for Apple Silicon (MLX). ~10-15% faster than DFlash on code, ~1.5x over autoregressive. First MLX port with

Flash weight streaming for MLX: run massive models larger than your RAM on Apple Silicon.

Your free book and audiobook laboratory. Turn the PDFs you own into chapter-marked M4B audiobooks, read-along books and bilingual editions,

TurboQuant KV cache compression for MLX with fused Metal kernels. 4.6x compression at 98% FP16 speed.

A private Claude-Code-style coding agent for Apple Silicon — run chat, code, and local model workflows on-device. MLX-native, Ollama/OpenAI