Havuz

Slotstream, büyük bir MoE modelini SSD’den parça parça yükleyip yoğun kullanılan expert’leri bellekte önbelleğe alarak Apple Silicon Mac’lerde çalıştıran yerel bir inference engine’dir.

Neden yükseliyor · README, 48 GB M5 Pro üzerinde belirli koşullarda 15.86 tok/s ölçümü ve prompt işleme iyileştirmeleri yayımlıyor; son 28 günde 271 commit ve 5 farklı yazar da yoğun geliştirme faaliyetine işaret ediyor. Ancak proje yalnızca 30 günlük ve mevcut sürüm için nitelikli tam yanıt hızı ölçümünün hâlâ beklediği belirtiliyor.

Needle, küçük cihazlarda tool calling, structured extraction ve embedding çalıştırmayı hedefleyen kompakt bir model ve yazılım paketidir.

Neden yükseliyor · Küçük cihazlarda yerel tool calling ve extraction ihtiyacına odaklanması, 216 günde 12.730 yıldıza ulaşması ve son 28 gündeki 36 commit ile 15 farklı yazarın katkısı dikkat çekiyor. Yıldızlar ilginin göstergesi; model performansının bağımsız doğrulaması değil.

TurboFieldfare, Gemma 4 26B-A4B modelini Apple Silicon Mac’lerde Swift ve Metal tabanlı özel bir runtime ile yerel olarak çalıştırır.

Neden yükseliyor · 72 günde 6828 yıldız alması ve 8 GB RAM’li Mac’te büyük bir model çalıştırma iddiası dikkat çekiyor. README belirli cihazlarda ölçülmüş decode hızları ve deney kayıtları sunuyor; ancak yıldızlar benimseme veya kalite kanıtı değil. Son 28 günde 4 commit ve 1 farklı yazar olması, geliştirme etkinliği ve ekip genişliği açısından sınırlı kanıt sağlıyor.

SiliconScope, Apple Silicon Mac’lerde sistem kaynaklarını ve özel hızlandırıcıları izleyen, ayrıca uzaktaki makineleri aynı panele ekleyebilen bir macOS monitörüdür.

Neden yükseliyor · 111 günde 966 yıldıza ulaşması ve son 28 günde 48 commit alması dikkat çekiyor; README’deki ANE ve memory-bandwidth ölçümleriyle uzaktaki makineleri tek panelde toplama özellikleri de ayırt edici bir kullanım vaadi sunuyor. Üç farklı yazar aktiviteye işaret etse de ekip genişliği sınırlı; yıldızlar tek başına benimseme veya kalite kanıtı değil.

Oído, ESP32-S3 üzerinde cloud veya NPU olmadan open-vocabulary speech recognition çalıştırmayı hedefleyen C tabanlı bir ASR motorudur.

Neden yükseliyor · Düşük maliyetli bir mikrodenetleyicide open-vocabulary ASR çalıştırma iddiası ve README’de verilen LibriSpeech sonuçları dikkat çekiyor. Repo 1 günlük ve 46 yıldız almış olsa da son 28 gündeki 6 commit’in tek yazardan gelmesi, ilginin henüz bağımsız benimseme veya sürdürülebilir geliştirme kanıtı olmadığını gösteriyor.

EchoMemory, konuşmaları cihazda yazıya döküp aranabilir belleğe kaydeden ve bu kayıtlar hakkında yerel bir RAG chatbot ile soru sormayı sağlayan bir uygulamadır.

Neden yükseliyor · 11 günde 68 yıldız ve son 28 günde 16 commit ile erken ilgi ve geliştirme hareketliliği var; ancak yalnızca 2 farklı yazar görülüyor. Yerel AI, gizlilik ve konuşma belleğini tek bir kullanıma hazır uygulamada birleştirmesi ilgi çekici olabilir; yıldız sayısı benimseme veya kalite kanıtı değil.

On-device, real-time multimodal AI with features similar to GPT-Live

PokeClaw (PocketClaw) — first on-device AI that controls your Android phone. Gemma 4, no cloud, no API key. Poke is short for Pocket.

⚡ Native MLX Swift LLM inference server for Apple Silicon. OpenAI-compatible API, SSD streaming for 100B+ MoE models, TurboQuant KV cache co

Run MoE models bigger than your RAM. Frontier-size MoE on a phone, laptop, edge. Lossless, on stock llama.cpp. An adaptive streaming optimiz

An on-device LLM understands your entire life, then proactively offers to get your work done through computer use.

Turn your Android phone into an OpenAI-compatible LLM inference server - Fully local, private and Open Source

Generate images locally

Downloadable models and conversion recipes for Apple's Core AI on iPhone and Mac. Chat, vision, speech and generative models with per-model

iPad-first, open-source iOS AI Agent optimized for iOS/iPadOS, with native iPhone support and Android alpha. On-device Linux, terminal, Pyth

Open-source local AI workspace — advancing on-device inference.

Private on-device AI chat for Android — runs any GGUF model locally via llama.cpp with ARM-optimised SIMD. Zero network permissions, encry

Open Dungeon — the first easy-to-use, fully local AI roleplay app. Story and inline scene images generated 100% on your machine (Gemma 4 QAT

SpeakMore：口述成文，划词即译。开源、免费的语音输入与翻译工具，支持 Mac 与 Windows：语音输入、语音翻译、划词翻译。兼容 Gemini、OpenAI、通义千问、DeepSeek、Kimi、智谱 GLM、MiniMax 及任意 OpenAI 兼容服务，语音输入亦

A local-first workspace for documents, tasks and meetings on macOS — nested spaces, typed properties, relations and saved views, with transc

On-device, ComfyUI-style node graph for image/video diffusion on Android. Run MiniMax H3 and WAN 2.2 14B on the Qualcomm Hexagon NPU. SD1.5,

A ternary, zero-heap tiny language model that runs inside a $2 microcontroller — bit-exact Python <-> C99 <-> Cortex-M3 (QEMU) parity. Apach

DeepSeek-V4-Flash-0731 284B inference in ~25 GB of RAM / Qwen3.8-Next-Flash inference in ~15 GB of RAM on any M-series MacBook

Small enough to run on your Mac. Smart enough to ask. An open-source computer use agent for macOS, with local models (MLX) that see, decide

Swift SDK for running chat, vision and speech models on iPhone and Mac with Apple's Core AI. Model download and caching, FoundationModels in

Open-source Android AI using LiteRT-LM with hardware acceleration, cloud providers, memory, and voice.

Thai + English voice typing for Mac. Offline speech-to-text that types Thai-spoken tech words in English. Push-to-talk dictation on Apple Si

A private Claude-Code-style coding agent for Apple Silicon — run chat, code, and local model workflows on-device. MLX-native, Ollama/OpenAI

600 KB WASM runtime for Cactus Compute's Needle AI tool-calling models, Needle 3, 2 and 1 from one build. Browser, Cloudflare Workers, Node.

On-device AI meeting assistant — real-time transcription & LLM insights, 100% offline

Fully local voice AI for iOS

Fastest MoE/LLM inference runtime for consumer and edge Blackwell GPUs. SN74 on Gittensor.

Native Android TTS app with on-device neural voices and emotion-aware prosody — sister project to marmalade-tts (CLI).

Source code of Local Code, a private AI agent for Mac, iPad and iPhone. Runs DeepSeek 4.1 on device, with Python, Node.js and a shell built

RikkaHub Agent · Pure — an Android AI agent that survives long runs. Independent hardening pass on the rikkahub on-device agent: usage ledge

Reproducible on-device LLM benchmarks for Apple Silicon (iPhone 17 Pro, M4 Max): Apple Core AI, MLX, llama.cpp, LiteRT-LM and Core ML on the

The local AI app built for the Mac. Run LLMs like Qwen, Gemma and GPT-OSS on Apple Silicon, including models far bigger than your Mac's memo

A practical lab for exploring Apple's Core AI framework, model assets, specialization, and on-device inference.

Run Kimi K3 (2.8 T parameters,1.56 TB) on iPhone 16 Pro? Weights stream from your SSD through a memory budget you set. Free, local, on Mac a

Electron + Next.js desktop AI assistant that runs GGUF models locally using llama.cpp. Designed for offline use, portability, and zero-insta

Run a 28.9M-parameter TinyLM on ESP32-S3 with an RP2040 OLED display node for fully local embedded AI inference.

edge-dit.cpp — a native C/C++ inference engine for Diffusion Transformers (DiT), designed for local and resource-constrained devices with au

Free, open-source AI autocomplete for macOS — on-device ghost-text suggestions in every app. A private, local Cotypist alternative built wit

Hands-free on-device voice loop for macOS: Apple SFSpeechRecognizer + cloned-voice TTS, continuous listening, zero cloud. Originally built t

On-device shell command generator for macOS Tahoe. Uses Apple's 3B model with dynamic few-shot retrieval from 21k tldr examples.

Suflyor (Суфлёр) — free voice-following teleprompter app for Android. Scrolls as you speak, floats over Instagram, TikTok and the camera. En

Local, real-time system-audio captioner + translator for macOS — Whisper + a local LLM + a glass overlay. Fully offline.

Private, fully offline photo search for Android. Find photos with words in English, Arabic, French, Russian or Spanish, or with another phot

Android SDK and MCP server: 157 tools for calendar, contacts, SMS, files, camera, sensors, notifications and UI automation, for on-device LL

A native macOS lab for teaching tiny language models to think — build the architecture, train the weights, and watch a small LLM emerge from