sutro-sh/jev-align
Build calibrated AI Functions from human feedback using Jev and GEPA.
Hızlı değerlendirme
Özet
jev-align, belirsiz örnekleri insanlara etiketleterek Jev tabanlı AI Functions'ı GEPA ile iyileştiren deneysel bir CLI'dır.
Profiline uyum
LLM işlerinde insan geri bildirimiyle sınıflandırıcı iyileştirmeye yarayabilir, fakat profilinizde sınıflandırıcı kalibrasyonu ihtiyacı belirtilmiyor.
Neden yükseliyor
9 günlük yaşına rağmen 296 yıldız alması dikkat çekiyor; 27 commit aktiviteye işaret etse de farklı yazar sayısının 1 olması ivmenin ekip geneline yayıldığını göstermiyor. Yıldızların neden yükseldiğine dair README dışında bağımsız kanıt yok.
Problem
AI Functions'ın gerçek kullanım verilerinde nerede hata yaptığını bulmak ve iyileştirmek için hangi örneklerin etiketleneceğini seçmek, insan geri bildirimini toplamak ve değerlendirme sürecini yönetmek gerekir.
Çözüm
Veri kümesini değerlendirip belirsiz örnekleri ve rastgele denetim örneklerini seçer; etiket ve isteğe bağlı gerekçeleri toplar, GEPA ile yeni bir tanım önerir ve kullanıcıya puan ile tanım farkını gösterir. Kabul kararı kullanıcıda kalır.
Yenilik
Belirsiz örnek seçimi, insan etiketlemesi ve GEPA ile iyileştirme akışını Jev AI Functions için tek bir rehberli CLI'da birleştiriyor; bileşenlerin kendisi yeni değil ve belirgin teknik üstünlük kanıtlanmış değil.
Teknolojiler
- Python
- Jev
- GEPA
- LiteLLM
- OpenAI
- Anthropic
- Gemini
- Vercel AI Gateway
- Cloudflare Workers AI
- CSV
- Parquet
- JSONL
Riskler
- Proje deneysel; uzun vadeli bakım ve API uyumluluğu hakkında yeterli kanıt yok.
- Son 28 günde tek farklı yazar görünüyor; sürdürülebilirlik ve katkı çeşitliliği belirsiz.
- Model sağlayıcılarının kullanım maliyetleri ve çıktı kalitesi sonuçları etkileyebilir.
- Etiket kalitesi doğrudan iyileştirme kalitesini belirler; insan incelemesi her durumda garanti edilmiyor.
- ai-functions.dev herkese açık bir kayıt defteri; yayınlanan etiketli veriler hassas bilgi içermemeli.
Detaylı değerlendirme
Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.