drumih/turbo-fieldfare
Gemma 4 26B-A4B inference in ~2 GB of RAM on any M-series MacBook
Hızlı değerlendirme
Özet
TurboFieldfare, Gemma 4 26B-A4B modelini Apple Silicon Mac’lerde Swift ve Metal tabanlı özel bir runtime ile yerel olarak çalıştırır.
Profiline uyum
Swift tabanlı yerel LLM çalıştırması Swift kullanımınızla kesişiyor, ancak profilinizde Apple Silicon’da yerel model inference ihtiyacı belirtilmiyor.
Neden yükseliyor
72 günde 6828 yıldız alması ve 8 GB RAM’li Mac’te büyük bir model çalıştırma iddiası dikkat çekiyor. README belirli cihazlarda ölçülmüş decode hızları ve deney kayıtları sunuyor; ancak yıldızlar benimseme veya kalite kanıtı değil. Son 28 günde 4 commit ve 1 farklı yazar olması, geliştirme etkinliği ve ekip genişliği açısından sınırlı kanıt sağlıyor.
Problem
Büyük bir LLM’i, modelin tamamını RAM’e yüklemeden sınırlı belleğe sahip Mac’lerde çalıştırma ihtiyacını hedefler.
Çözüm
Modelin ortak çekirdeğini ve KV cache’i bellekte tutup ihtiyaç duyulan expert ağırlıklarını SSD’den akış halinde yükler; bunun için Gemma’ya özel Swift ve Metal runtime, native Mac app, CLI ve deneysel OpenAI-compatible server sunar.
Yenilik
Gemma 4 26B-A4B için expert ağırlıklarını SSD’den gerektiğinde akıtıp düşük bellek bütçesinde inference yapmaya odaklanan model-özgü bir runtime yaklaşımı var. Yaklaşımın ne ölçüde yeni olduğu veya başka modellere genellenebilirliği mevcut bilgilerle doğrulanamıyor.
Teknolojiler
- Swift 6.2
- Metal 4
- Gemma 4 26B-A4B
- MLX affine 4-bit quantization
- macOS 26
- OpenAI-compatible API
Riskler
- Yalnızca Apple Silicon, macOS 26 ve Metal 4 hedefleniyor; platform ve işletim sistemi gereksinimleri dar.
- README’deki performans sonuçları belirli donanım ve koşullara bağlı; gerçek hız prompt uzunluğu, cache durumu ve cihazla değişebilir.
- Model-özgü tasarım, diğer model ailelerine doğrudan uygulanabilirliğin belirsiz olduğu anlamına geliyor.
- Model kurulumu için yaklaşık 14.3 GB depolama gerekiyor; düşük RAM ihtiyacı düşük disk ihtiyacı anlamına gelmiyor.
- Yakın dönem katkısı tek yazarla sınırlı; uzun vadeli bakım ve bağımsız doğrulama konusunda belirsizlik var.
Detaylı değerlendirme
Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.