Nehanth/pooled
Peer-to-peer LLM inference in the browser: pool your devices to run big open models, for chat and coding agents.
Hızlı değerlendirme
Özet
pooled, birden fazla cihazın tarayıcı GPU’larını WebRTC üzerinden birleştirerek büyük open model’leri birlikte çalıştırmasını sağlayan bir LLM inference projesidir.
Profiline uyum
Tarayıcıda yerel LLM çalıştırması AI ilginizle kısmen örtüşüyor, ancak profilinizdeki Claude/OpenAI tabanlı agent ve RAG iş akışlarını doğrudan karşılamıyor.
Neden yükseliyor
27 günlük yaşına göre 461 yıldız ve son 28 günde 90 commit güçlü bir erken ilgi ve geliştirme temposuna işaret ediyor. Tarayıcıdan katılımla cihazları birleştirme fikri, yerel inference ve donanım paylaşımı ilgisini çekebilir; ancak yalnızca 2 farklı yazar olduğundan aktivite geniş bir katkıcı topluluğunun kanıtı değil. İlginin nedenini kesin olarak belirlemek mümkün değil.
Problem
Tek bir cihazın belleği veya işlem gücü büyük open model’leri çalıştırmaya yetmeyebilir; bulut inference ise sunucuya bağımlılık ve veri gizliliği kaygıları doğurabilir.
Çözüm
Model katmanlarını odadaki cihazlara dağıtıyor; her cihaz kendi katmanlarını WebGPU ve WGSL kernel’larıyla çalıştırıyor, aradaki hidden state ise doğrudan WebRTC bağlantılarıyla aktarılıyor. İsteğe bağlı Code mode, inference çıktısını dosya düzenleyen ve uygulamayı sandbox içinde önizleyen bir agent akışına bağlıyor.
Yenilik
Dağıtık inference yeni bir alan değil; ayırt edici yaklaşım, model katmanlarını kurulum gerektirmeden tarayıcı sekmelerindeki WebGPU cihazlarına dağıtıp hidden state’i WebRTC ile taşımak. README’deki demo, bunun çalıştığına dair bir gösterim sunuyor; geniş ölçekte kararlılık veya performans kanıtı sunmuyor.
Teknolojiler
- JavaScript
- WebGPU
- WGSL
- WebRTC
- Deno
- Playwright
- GGUF
- Hugging Face
Riskler
- Bir odanın toplam belleği ve performansı, katılan cihazların donanımına ve ağ koşullarına bağlı; cihaz ayrılması yeniden katman dağıtımı gerektiriyor.
- WebGPU desteği ve performansı tarayıcıya, işletim sistemine ve cihaza göre değişebilir.
- WebRTC bağlantıları üzerinden katmanlar arası aktarım, ağ gecikmesi ve bağlantı kararlılığını inference deneyiminin önemli bir parçası yapıyor.
- README’deki 10.7 tok/s sonucu belirli bir MacBook-iPhone, model ve aynı Wi‑Fi koşulundaki demoya ait; genellenebilir benchmark olarak değerlendirilmemeli.
- Geliştirme 2 farklı yazarla sınırlı görünüyor; uzun vadeli bakım ve katkıcı çeşitliliği henüz belirsiz.
- Code mode’un sandbox ve dosya erişimi sınırları benimsemeden önce threat model ve güvenlik dokümanlarından incelenmeli.
Detaylı değerlendirme
Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.