Yinsongxu/LLM2Jev
Turn local language models into Jev-style structured decision models. Get results from text and images with prefill alone—no token-by-token decoding required.
Hızlı değerlendirme
Özet
LLM2Jev, yerel language model’leri Jev uyumlu yapılandırılmış karar modelleri gibi kullanmaya yarayan bir Python aracıdır.
Profiline uyum
Yerel modellerden yapılandırılmış kararlar üretmesi agent mimarileri ve LLM çalışmalarınızla ilişkili, ancak belirttiğiniz ürün ihtiyaçlarından birini doğrudan karşılamıyor.
Neden yükseliyor
Sekiz günde 342 yıldız ve son 28 günde 25 commit dikkat çekiyor; README’deki JevBench ve gecikme sonuçları da ilgi çekebilir, ancak bu ölçümler proje tarafından raporlanmış ve bağımsız doğrulama bilgisi verilmemiş.
Problem
Jev tarzı karar isteklerini yerel dil ve vision-language model’leriyle çalıştırmak, ayrıca çok sayıda aday seçeneği değerlendirirken tekrarlanan hesaplamayı azaltmak.
Çözüm
SGLang, Transformers ve Apple Silicon için MLX üzerinden model logits değerlerini prefill sırasında hesaplayıp sonuçları token-by-token decoding yapmadan oluşturur; ortak prefix’leri yeniden kullanarak adayları puanlar ve Jev uyumlu bir HTTP API sunar.
Yenilik
Prefill logits üzerinden token-by-token decoding yapmadan Jev tarzı karar sonuçları üretmesi ve ortak prefix’leri adaylar arasında yeniden kullanması belirgin teknik yaklaşım; bunun ne ölçüde özgün veya mevcut çözümlerden üstün olduğu bağımsız kıyaslarla henüz kanıtlanmış değil.
Teknolojiler
- Python
- SGLang
- Transformers
- MLX
- MLX-VLM
- Radix Cache
- uv
Riskler
- Proje çok yeni; son 28 gündeki 25 commit’e karşın farklı yazar sayısı 2, dolayısıyla bakım sürekliliğine dair kanıt sınırlı.
- JevBench doğruluk ve gecikme karşılaştırmaları README’de yer alıyor; değerlendirme koşulları ve bağımsız tekrarlanabilirlik ayrıca incelenmeli.
- Desteklenen backend’ler, model aileleri ve multimodal özellikler arasında uyumluluk farklılıkları olabilir.
- Yerel çalıştırma için uygun model dosyaları ve backend’e bağlı donanım/yazılım ortamı gerekir.
Detaylı değerlendirme
Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.