PrismML-Eng/Bonsai-demo

Neden yükseliyor

Yerel LLM çalıştırma ve düşük bitli model formatlarına ilgiyle örtüşüyor; 186 günde 3.148 yıldızın yanında son 28 günde 54 commit ve 25 farklı yazar, depoda kayda değer güncel aktivite olduğunu gösteriyor. Bu metrikler ilginin nedenini tek başına kanıtlamaz; artışın kaynağına dair veri verilmemiş.

Problem

Büyük dil modellerini yerel donanımda çalıştırmak için gereken model indirme, backend kurulumu ve servis başlatma adımlarının karmaşıklığını azaltmayı hedefler.

Çözüm

Shell ve PowerShell betikleri donanıma uygun PrismML llama.cpp fork'unu ve model dosyalarını kurar; kullanıcı modeli yerel sunucu üzerinden veya terminalden çalıştırabilir. macOS için MLX, diğer sistemler için farklı llama.cpp backend seçenekleri de sunulur.

Yenilik

Demo betiklerinin kendisi belirgin bir yenilik sunmuyor; öne çıkan unsur, proje açıklamasına göre 1,75 bit ağırlık paketlemesi kullanan Bonsai 2 modeli ve bunu çalıştırmak için gereken özel llama.cpp fork'u. Performans ve kalite iddiaları README'de belirtiliyor, ancak burada bağımsız doğrulama kanıtı yok.

Teknolojiler

• Shell
• PowerShell
• llama.cpp
• MLX
• GGUF
• Metal
• CUDA
• Vulkan
• ROCm
• Open WebUI

Riskler

• Bonsai 2 dosyaları stock llama.cpp ile çalışmıyor; PrismML'nin llama.cpp fork'una bağımlılık var.
• Modelin kalite ve boyut avantajlarına ilişkin README iddiaları bağımsız benchmark sonuçlarıyla burada doğrulanmıyor.
• Model indirmesi ve opsiyonel bileşenler önemli disk alanı ve indirme süresi gerektirebilir; README, varsayılan paket ve vision projector için toplam 7,8 GB belirtiyor.
• Farklı donanım ve backend'lerde hız ve bellek ihtiyacı değişebilir; verilen donanım desteği her kurulumda aynı performans anlamına gelmez.