openlayer-ai/jevals
Agent evals and guardrails as Jev decisions: one request per trace, a fraction of a cent, fast enough for the agent loop. Runs locally with Kev or Laya.
Hızlı değerlendirme
Özet
jevals, agent trace'lerini eval ve guardrail kontrollerinden tek istekte geçirerek production veya agent loop içinde değerlendirmeyi amaçlayan bir Python kütüphanesidir.
Profiline uyum
Agent ve RAG trace’lerini değerlendirme ve runtime guardrail’leri sağlama, aktif kullandığınız RAG ve agent sistemleriyle doğrudan ilişkilidir.
Neden yükseliyor
7 günlük bir repoda 97 yıldız, 5 commit ve 4 farklı yazar erken ilgi ve katkı işareti. Tek istekte birden fazla kontrol, düşük maliyet ve agent loop'a uygun hız iddiaları dikkat çekiyor; performans ve maliyet rakamları README'de verilmiş, bağımsız doğrulama olarak kabul edilmemeli.
Problem
LLM judge tabanlı eval'ler maliyetli, yavaş ve değişken sonuçlar verebildiğinden ekipler bunları sınırlı trafik örneklerinde çalıştırıyor; agent trace'lerinde tool kullanımı, grounding ve güvenlik gibi ek kontroller de gerekiyor.
Çözüm
Kontrollerin bir kısmını kodla, yargı gerektirenleri Jev-style typed decision sorularıyla değerlendiriyor; birden çok eval'in state ve sorularını tek istekte birleştiriyor. Jev için TypeSafe veya Vercel API'lerini, yerel kullanımda Kev ya da Laya'yı destekliyor.
Yenilik
LLM judge yerine typed decision model kullanıp bir trace için birden çok eval'i tek istekte çalıştırma yaklaşımı ayırt edici; ancak Jev yaklaşımının kendisi jevals'e özgü değil ve mevcut eval kategorilerini yeniden kuruyor.
Teknolojiler
- Python
- Jev
- TypeSafe API
- Vercel AI Gateway
- Kev
- Laya
- Presidio
- Ragas
Riskler
- Proje yalnızca 7 günlük; API kararlılığı, uzun dönem bakım ve gerçek kullanım kanıtı henüz sınırlı.
- Temel değerlendirme kalitesi Jev ve uyumlu modellerin kararlarına bağlı; farklı görevlerde kalibrasyon ve hata oranları README'deki örneklerle kanıtlanmıyor.
- TypeSafe, Vercel AI Gateway veya yerel Kev/Laya seçeneklerine bağımlılık ve bunların erişilebilirliği benimseme kararını etkileyebilir.
- README'deki maliyet, gecikme ve judge variance karşılaştırmaları proje tarafından aktarılan ölçümlerdir; bu verilerin farklı trace ve iş yüklerinde ne ölçüde genellendiği belirsiz.
Detaylı değerlendirme
Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.