jsdhwfmax/EvalForge
Evaluator-neutral AI evaluation evidence, baseline regression gates, and JSON, JUnit, and SARIF reports for CI.
Hızlı değerlendirme
Özet
EvalForge, AI evaluation sonuçlarını baseline karşılaştırmaları ve CI quality gate’leriyle değerlendirip standart rapor formatlarında yayımlar.
Profiline uyum
RAG kalite değerlendirmelerini CI içinde ölçüp regresyonları yakalaması, AI/RAG uygulamalarınızı ve ürün geliştirme sürecinizi destekleyebilir.
Neden yükseliyor
RAG evaluation sonuçlarını CI’da denetlenebilir kanıta ve release gate’lerine bağlama ihtiyacına odaklanıyor; repo 34 günde 211 yıldız almış. Ancak README bağımsız doğrulanmış downstream benimsemenin henüz bulunmadığını belirtiyor ve son 28 günde katkı tek yazardan gelmiş; ilginin gerçek kullanımın kanıtı olduğu söylenemez.
Problem
RAG uygulamaları ve AI assistant’lar için evaluation sonuçları farklı araçlarda ve formatlarda üretiliyor; ekiplerin bunları tutarlı biçimde karşılaştırıp release kararlarına ve CI raporlarına bağlaması zor.
Çözüm
promptfoo, Ragas ve desteklenen DeepEval çıktılarıyla düz metrik özetlerini ortak, versioned bir evidence artifact’ına alır; policy ve baseline kontrolleri çalıştırıp JSON, JUnit, SARIF ve Markdown raporları üretir. README’ye göre gate offline çalışabilir ve GitHub Actions entegrasyonu içerir.
Yenilik
Büyük ölçüde yeni bir evaluation yöntemi değil; farklı evaluator çıktıları, baseline/policy kontrolleri ve JUnit/SARIF gibi mevcut CI formatları arasında dar kapsamlı bir interoperability katmanı sunuyor. Değeri yeni metriklerden çok bu akışı birleştirmesinde.
Teknolojiler
- Python
- FastAPI
- Streamlit
- SQLite
- PostgreSQL
- pgvector
- pytest
- GitHub Actions
- Docker Compose
- JSON
- JUnit
- SARIF
- BM25
Riskler
- v0.5.0 alpha; API, artifact şeması ve entegrasyonlar değişebilir.
- README bağımsız downstream benimsemenin henüz doğrulanmadığını açıkça belirtiyor.
- Son 28 günde 10 commit olsa da farklı yazar sayısı 1; bakım sürekliliği ve topluluk katkısı hakkında kanıt sınırlı.
- Adapter desteği belirli format ve sürüm sınırlarına bağlı; ekiplerin kullandığı evaluator sürümleriyle uyum ayrıca doğrulanmalı.
- Baseline karşılaştırmalarının anlamı dataset ve metric tanımlarının uyumuna bağlı; yanlış eşleştirme yanıltıcı release kararlarına yol açabilir.
Detaylı değerlendirme
Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.