nokia-applied-research/AnyJev

Neden yükseliyor

Yedi günde 802 yıldız almış; dikkat çekmesinde etiket gerektirmeyen ilk seviye, az etiketle kalibrasyon iddiası ve modeli fine-tune etmeden karar endpoint’i sunma yaklaşımı etkili görünüyor. Bu ilgi benimseme kanıtı değil; verilen sonuçlar README’deki sınırlı benchmark’a dayanıyor.

Problem

LLM’lerin ham next-token logits değerleri seçeneklerin sıralanmasından etkilenebilir ve güven skoru gerçek hata olasılığıyla örtüşmeyebilir; bu da kararları güvenle otomatikleştirmeyi zorlaştırır.

Çözüm

Typed choice, yes/no ve score soruları için raw, L0, L1 ve L2 seviyeleri sağlar: L0 etiket kullanmadan kararları düzenler; L1 temperature calibration uygular; L2 ise soru başına kapalı biçimli bir head’i etiketlerle fit eder. Kararlar üretilmiş metin yerine modelin next-token distribution’ı veya hidden state üzerinden alınır; README, Transformers ve vLLM ile sunumu da gösteriyor.

Yenilik

LLM kararlarında seçenek sırası hassasiyetini ve güven kalibrasyonunu typed karar arayüzüyle birleştirmesi pratik açıdan dikkat çekici; ancak calibration veya linear head yöntemlerinin kendisinin yeni olduğu gösterilmiyor.

Teknolojiler

• Python
• LLM
• Transformers
• vLLM

Riskler

• Öne çıkarılan sayısal sonuçlar Qwen3-8B ve BANKING77’deki 300 test öğesine dayanıyor; farklı model ve görevlerde aynı kazanımların görüleceği kanıtlanmış değil.
• Son 28 günde 36 commit ve 2 farklı yazar etkinlik gösterse de proje yalnızca 7 günlük; uzun vadeli bakım ve API istikrarı hakkında veri yok.
• L2, görev başına etiket ve head fit edilmesini gerektiriyor; README’deki 100–300 etiket beklentisi her kullanım senaryosunda karşılanamayabilir.
• Sonuçlar proje README’sinde raporlanmış; bağımsız doğrulama bilgisi sunulan içerikte yer almıyor.