TypeLLM/pijev
Permutation Invariant Jev
Hızlı değerlendirme
Özet
pijev, Jev ile yapılan sınıflandırma çağrılarında seçenek sırasının tahminleri etkilemesini azaltmak için permütasyon sonuçlarını ortalayan bir Python wrapper'ıdır.
Profiline uyum
LLM kararlarında seçenek sırası etkisini azaltması, agent ve routing sistemlerinize dolaylı katkı sağlayabilir; ancak bu özel bir profil ihtiyacı değil.
Neden yükseliyor
Repo 5 günlük ve 34 yıldız almış; bu kısa sürede ilgi gördüğünü gösteriyor, ancak bu ilginin nedenini veya gerçek benimsemeyi belirlemek için yeterli kanıt yok. Son 28 günde 3 commit ve 1 farklı yazar olması, geliştirme etkinliğinin tek kişide toplandığını gösteriyor.
Problem
Jev aynı seçenekleri farklı sıralarda sunduğunda seçeneklere verdiği olasılıklar değişebilir; bu da sınıflandırma sonuçlarını sıra düzenine duyarlı hâle getirir.
Çözüm
Seçenek sıralarının permütasyonları için tek bir system_one isteğinde tahminler üretir, tahminleri seçenek etiketlerine göre hizalar ve olasılıklarını ortalar. README'ye göre ortalama, kapsanan permütasyonlardaki Brier score ve log loss ortalamasından daha kötü olamaz; bu, her durumda daha iyi kalibrasyon garantisi değildir.
Yenilik
Permütasyon tahminlerini ortalama yaklaşımı bilinen bir yöntemdir; projenin özgün katkısı bunu Jev/typesafe_sdk arayüzüne, import değişikliğiyle kullanılabilecek bir wrapper olarak sunmasıdır.
Teknolojiler
- Python
- Jev
- typesafe_sdk
- LLM
Riskler
- Permütasyonlar ek soru ve model değerlendirmeleri doğurabilir; bu da maliyeti ve gecikmeyi artırabilir.
- Varsayılan olarak her Choice için en fazla 8 permütasyon kullanılıyor; seçenek sayısı büyüdükçe tüm permütasyonları değerlendirmek pratik olmayabilir.
- README'deki karşılaştırmalar canlı örneklere dayanıyor; model rastgeleliği ve soru ID'lerinin değişmesi sonuçları etkileyebilir.
- Brier score ve log loss garantisi, aynı doğru yanıt varsayımı altında kapsanan permütasyonların ortalamasıyla karşılaştırmalıdır; koşulsuz kalibrasyon veya her tekil permütasyondan daha iyi sonuç garantisi değildir.
- Tek yazar ve sınırlı commit verisi, bakım sürekliliği ve uyumluluk konusunda henüz güçlü kanıt sağlamıyor.
Detaylı değerlendirme
Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.