carloslfu/slotstream
Run a 105 GB AI model on a Mac that can't hold it. Qwen3.8-Flash-Next 4-bit, streamed from SSD on 16–64 GB Apple Silicon Macs. Fully native Swift, MLX and Metal. Offline, no Python. CLI, Swift library, and Ollama/OpenAI/Anthropic APIs. Works with Claude Code and Codex.
Hızlı değerlendirme
Özet
Slotstream, büyük bir MoE modelini SSD’den parça parça yükleyip yoğun kullanılan expert’leri bellekte önbelleğe alarak Apple Silicon Mac’lerde çalıştıran yerel bir inference engine’dir.
Profiline uyum
Swift ve LLM kullanımınızla kesişiyor, fakat proje bulut modelleri yerine Apple Silicon'da büyük yerel model çalıştırma ihtiyacına yönelik.
Neden yükseliyor
README, 48 GB M5 Pro üzerinde belirli koşullarda 15.86 tok/s ölçümü ve prompt işleme iyileştirmeleri yayımlıyor; son 28 günde 271 commit ve 5 farklı yazar da yoğun geliştirme faaliyetine işaret ediyor. Ancak proje yalnızca 30 günlük ve mevcut sürüm için nitelikli tam yanıt hızı ölçümünün hâlâ beklediği belirtiliyor.
Problem
Modelin ağırlıkları Mac’in belleğinden büyük olduğunda yerel inference yapılamaması veya sistemin yoğun swap kullanması sorununu hedefliyor.
Çözüm
Modelin çoğunu SSD’de tutuyor, ihtiyaç duyulan expert’leri belleğe alıyor ve sonraki katmanlarda gerekecek expert’leri önceden tahmin ederek okuyor; MLX ve Metal kullanan yerel bir Swift binary sunuyor.
Yenilik
MoE expert’lerini SSD’den akış halinde getirip önceden yükleme yaklaşımı, RAM’i modelden küçük Mac’lerde yerel inference için anlamlı bir teknik farklılık sunuyor; bu yaklaşımın genel performansı ve başka modellerdeki kapsamı verilen bilgilerle doğrulanamıyor.
Teknolojiler
- Swift
- MLX
- Metal
- Apple Silicon
- macOS
- Qwen3.8-Flash-Next
- Ollama-compatible API
- OpenAI-compatible API
- Anthropic-compatible API
Riskler
- Yalnızca Apple Silicon ve macOS 14 veya sonrası destekleniyor; Windows, Linux ve Intel Mac desteklenmiyor.
- Mevcut model için en az 16 GB bellek ve yaklaşık 110 GB boş SSD alanı gerekiyor.
- Hız verilerinin bir kısmı topluluk bildirimlerine veya eski sürümlerdeki kontrollü ölçümlere dayanıyor; README, mevcut sürüm için nitelikli tam yanıt hızı baz ölçümünün beklediğini söylüyor.
- SSD’den veri akışı performansı donanıma, bellek planına ve bellek baskısına bağlı; düşük bellekli makinelerde yanıt hızı sınırlı olabilir.
- Proje çok yeni; mevcut ölçümler yoğun geliştirme faaliyeti gösterse de uzun dönemli kararlılık ve model desteğinin kapsamı henüz net değil.
Detaylı değerlendirme
Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.