ekzhang/openjev-sglang

Neden yükseliyor

10 günlük yaşında 328 yıldız ve son 28 günde 20 commit ile erken ilgi ve geliştirme hareketliliği gösteriyor; ancak 3 farklı yazar olması ve benimsenme verisinin bulunmaması, bu ivmenin kalıcı kullanım kanıtı olarak görülmemesi gerektiğini gösteriyor.

Problem

Uygulamaların LLM çıktılarından Noul, Choice ve Score türlerinde yapılandırılmış değerlendirme alabilmesi için Jev API’sini çalıştırılabilir açık model altyapısıyla sunma ihtiyacını karşılıyor.

Çözüm

FastAPI tabanlı bir API’yi SGLang üzerinde çalışan Qwen3.6-35B-A3B modeline bağlıyor; ortak prompt önekini bir kez hazırlayıp soruları ayrı işliyor. Dağıtım için Modal, inference tarafında radix caching ve breakable prefill CUDA graphs kullanıyor.

Yenilik

Temel model ve serving teknolojileri yeni değil; Jev uyumlu değerlendirme API’sini open model’lerle çalıştırılabilir ve dağıtılabilir biçimde sunması pratik bir entegrasyon katkısı. Belirgin yeni bir altyapı tekniği olduğu gösterilmiyor.

Teknolojiler

• Python
• SGLang
• Qwen3.6-35B-A3B
• FastAPI
• uvloop
• Modal
• CUDA
• Triton
• Rust-backed HF tokenizer
• TypeSafe/Jev HTTP API

Riskler

• Proje çok yeni; API uyumluluğunun kapsamı ve uzun vadeli bakımına dair kanıt sınırlı.
• README’deki örnek dağıtım B200 GPU kullanıyor; maliyet ve erişilebilirlik, kullanım senaryosunu sınırlayabilir.
• Modal’da ölçek sıfıra indikten sonra başlangıçta 503 yanıtları ve model/kernel hazırlığı nedeniyle gecikme oluşabilir.
• README, public endpoint’i unauthenticated olarak tanımlıyor; internete açık dağıtımda erişim ve maliyet kontrolleri ayrıca değerlendirilmelidir.
• Belirtilen model ve SGLang sürümüyle uyum, başka modellerde veya sürümlerde aynı performans ve davranışı garanti etmez.