Havuz

a community oriented 1:1, vLLM-alike (Continuous batching, paged KV) engine in C++ with additional features (GGUF, RadixAttention, Cache-awa

Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https

Your AI intranet: network the computers you already own for inference and training.

Slotstream, büyük bir MoE modelini SSD’den parça parça yükleyip yoğun kullanılan expert’leri bellekte önbelleğe alarak Apple Silicon Mac’lerde çalıştıran yerel bir inference engine’dir.

Neden yükseliyor · README, 48 GB M5 Pro üzerinde belirli koşullarda 15.86 tok/s ölçümü ve prompt işleme iyileştirmeleri yayımlıyor; son 28 günde 271 commit ve 5 farklı yazar da yoğun geliştirme faaliyetine işaret ediyor. Ancak proje yalnızca 30 günlük ve mevcut sürüm için nitelikli tam yanıt hızı ölçümünün hâlâ beklediği belirtiliyor.

⚡ Native MLX Swift LLM inference server for Apple Silicon. OpenAI-compatible API, SSD streaming for 100B+ MoE models, TurboQuant KV cache co

SiliconScope, Apple Silicon Mac’lerde sistem kaynaklarını ve özel hızlandırıcıları izleyen, ayrıca uzaktaki makineleri aynı panele ekleyebilen bir macOS monitörüdür.

Neden yükseliyor · 111 günde 966 yıldıza ulaşması ve son 28 günde 48 commit alması dikkat çekiyor; README’deki ANE ve memory-bandwidth ölçümleriyle uzaktaki makineleri tek panelde toplama özellikleri de ayırt edici bir kullanım vaadi sunuyor. Üç farklı yazar aktiviteye işaret etse de ekip genişliği sınırlı; yıldızlar tek başına benimseme veya kalite kanıtı değil.

Bonsai-demo, Bonsai 2 27B modelini yerel donanımda çalıştırmak için kurulum betikleri ve llama.cpp/MLX tabanlı demo arayüzleri sunar.

Neden yükseliyor · Yerel LLM çalıştırma ve düşük bitli model formatlarına ilgiyle örtüşüyor; 186 günde 3.148 yıldızın yanında son 28 günde 54 commit ve 25 farklı yazar, depoda kayda değer güncel aktivite olduğunu gösteriyor. Bu metrikler ilginin nedenini tek başına kanıtlamaz; artışın kaynağına dair veri verilmemiş.

Spark-X2.5, yerel çalıştırma ve agent iş akışları için tasarlanmış 1.7B ve 4B boyutlarında açık dil modelleri serisidir.

Neden yükseliyor · Yeni model serisi; uzun context, küçük model boyutu ve agent/coding yeteneklerini aynı anda öne çıkarıyor. README'de 34 günlük yaş, 386 yıldız ve son 28 günde 9 commit ile 2 farklı yazar bilgisi var; bunlar erken ilgi ve güncel çalışma gösteriyor, ancak model performansını bağımsız olarak kanıtlamıyor.

On-device, real-time multimodal AI with features similar to GPT-Live

On-device meeting capture, dictation, and vault-native knowledge layer for macOS. Nothing leaves your Mac.

VoiceStudio, yerel speech modellerini masaüstü uygulamasında voice cloning, text-to-speech, transcription ve video dubbing gibi iş akışlarıyla bir araya getiriyor.

Neden yükseliyor · 171 günde 37.761 yıldıza ulaşması dikkat çekici kullanıcı ilgisine işaret ediyor; kapsamlı yerel voice iş akışları ve ElevenLabs alternatifi olarak konumlanması bu ilgiyi açıklayabilir. Son 28 gündeki 1.505 commit yüksek aktivite gösterse de yalnızca 6 farklı yazar görünmesi, bu hareketin geniş katkıcı tabanına yayıldığını kanıtlamıyor.

Open source, terminal-first AI coding agent with fully transparent multi-model routing. Local (Ollama, LM Studio, MLX, llama.cpp) or cloud,

JANG — GGUF for MLX. YOU MUST USE JANG_Q RUNTIME. Adaptive Mixed-Precision Quantization + Runtime for Apple Silicon

Run LLMs on Apple devices with CoreML, optimized for Apple Neural Engine + GPU

A local LLM server built for concurrent work. Drop-in replacement for Ollama and/or OpenAI and Ollama APIs on one port. Requests that share

A local-first workspace for documents, tasks and meetings on macOS — nested spaces, typed properties, relations and saved views, with transc

LLM frontend for roleplay and creative writing

Tree-based speculative decoding for Apple Silicon (MLX). ~10-15% faster than DFlash on code, ~1.5x over autoregressive. First MLX port with

Your free book and audiobook laboratory. Turn the PDFs you own into chapter-marked M4B audiobooks, read-along books and bilingual editions,

Flash weight streaming for MLX: run massive models larger than your RAM on Apple Silicon.

TurboQuant KV cache compression for MLX with fused Metal kernels. 4.6x compression at 98% FP16 speed.

A private Claude-Code-style coding agent for Apple Silicon — run chat, code, and local model workflows on-device. MLX-native, Ollama/OpenAI

Turn your Mac into the brain of your household and operate from your phone.