Havuz

Slotstream, büyük bir MoE modelini SSD’den parça parça yükleyip yoğun kullanılan expert’leri bellekte önbelleğe alarak Apple Silicon Mac’lerde çalıştıran yerel bir inference engine’dir.

Neden yükseliyor · README, 48 GB M5 Pro üzerinde belirli koşullarda 15.86 tok/s ölçümü ve prompt işleme iyileştirmeleri yayımlıyor; son 28 günde 271 commit ve 5 farklı yazar da yoğun geliştirme faaliyetine işaret ediyor. Ancak proje yalnızca 30 günlük ve mevcut sürüm için nitelikli tam yanıt hızı ölçümünün hâlâ beklediği belirtiliyor.

TurboFieldfare, Gemma 4 26B-A4B modelini Apple Silicon Mac’lerde Swift ve Metal tabanlı özel bir runtime ile yerel olarak çalıştırır.

Neden yükseliyor · 72 günde 6828 yıldız alması ve 8 GB RAM’li Mac’te büyük bir model çalıştırma iddiası dikkat çekiyor. README belirli cihazlarda ölçülmüş decode hızları ve deney kayıtları sunuyor; ancak yıldızlar benimseme veya kalite kanıtı değil. Son 28 günde 4 commit ve 1 farklı yazar olması, geliştirme etkinliği ve ekip genişliği açısından sınırlı kanıt sağlıyor.

React ve WebGPU ile animasyonlu liquid-glass orb efektleri oluşturup düzenleyen, sonucu Web veya SwiftUI/Metal kodu olarak dışa aktaran bir editör.

Neden yükseliyor · 44 günlük bir repoda 715 yıldız, gerçek zamanlı görsel düzenleme ile Web ve SwiftUI/Metal dışa aktarımının birleşimine ilgi olduğunu düşündürüyor. Ancak son 28 günde yalnızca 1 commit ve 1 farklı yazar var; yıldızlar dışında benimsenme veya sürdürülebilir bakım kanıtı sınırlı.

⚡ Native MLX Swift LLM inference server for Apple Silicon. OpenAI-compatible API, SSD streaming for 100B+ MoE models, TurboQuant KV cache co

A native .NET LLM inference engine and agent runtime for GGUF models. TensorSharp provides a console application, a web-based chatbot interf

Open-source local AI workspace — advancing on-device inference.

Native macOS terminal with GPU rendering, durable sessions, coding-agent workflows, and SSH connectivity. Session host, daemon, and CLI supp

llama.cpp/ik_llama.cpp launcher: loads big MoE models across mismatched multi-GPU rigs by exact VRAM math.

Real-time multimodal AI pipelines on Apple Silicon

Run large language models locally on Intel Macs with AMD GPUs - native macOS app with Metal acceleration

Camelid: a Rust-native local inference backend with evidence-gated model compatibility.

DeepSeek-V4-Flash-0731 284B inference in ~25 GB of RAM / Qwen3.8-Next-Flash inference in ~15 GB of RAM on any M-series MacBook

Flash weight streaming for MLX: run massive models larger than your RAM on Apple Silicon.

Native TypeScript game engine — compiles to Metal, DirectX 12, Vulkan, and OpenGL

TurboQuant KV cache compression for MLX with fused Metal kernels. 4.6x compression at 98% FP16 speed.

Get more intelligence from every bit. Better quantization formats and smarter calibration let larger, stronger models run smoothly on the ha

The agentic node editor for live visual effects

CLI-native local AI image and video generation for people, scripts, and agents — CUDA on Linux, Metal on macOS, plus desktop, web, iPhone, R

Apple Silicon mlx with Zero Dependency Java

TurboQuant MLX: Flagship high-performance model quantization for Apple Silicon. Squeeze maximum inference speed and memory efficiency out of

ML model ports (ASR · TTS · LLM · VLM · vision · audio codecs) on the rlx multi-backend compiler + runtime — CPU/Metal/MLX/CUDA/wgpu