kiyoakii/is-gpt-nerfed
Shrinkflation detector for Codex
Hızlı değerlendirme
Özet
is-gpt-nerfed, Codex oturumlarında seçilen modelin gerçekten yanıt verip vermediğini kayıtlardaki değişiklikler ve model fingerprint testiyle izleyen macOS aracıdır.
Profiline uyum
Codex model davranışını denetliyor; profilinizde model downgrade takibi veya Codex’e özgü bir ihtiyaç yer almıyor.
Neden yükseliyor
12 günlük yaşına karşılık 172 yıldız ve son 28 günde 76 commit dikkat çekiyor; model yönlendirmesi ve olası model düşürme konusu da Codex kullanıcıları için güncel bir endişe. Ancak yalnızca 3 farklı yazar olması ve projenin çok yeni olması, bu ilgiyi kalıcı benimseme kanıtı olarak değerlendirmeyi zorlaştırıyor.
Problem
Codex'in seçilen model veya reasoning effort değerini sessizce değiştirmesi ya da istenenden farklı bir modele yönlendirmesi kullanıcı tarafından fark edilmeyebilir.
Çözüm
Codex'in turn kayıtlarını hook'larla okuyup model, reasoning effort ve context window değişikliklerini izler; ayrıca belirli aralıklarla aynı oturumdan üç geçici probe çalıştırıp yanıtları ModelTrace'in kalibre edilmiş fingerprint bankasıyla karşılaştırır. Sonuçları menü çubuğunda, bildirimlerde ve CLI raporlarında sunar.
Yenilik
Codex'in kendi oturum kayıtlarını fingerprint tabanlı probe'larla birleştirip model uyuşmazlığını kullanıcıya bildirmesi bu araç özelinde ayırt edici. Fingerprint yaklaşımının gerçek kullanımda güvenilir biçimde yeni modelleri ayırdığı ise README'deki çapraz doğrulama iddiasından bağımsız olarak kanıtlanmış değil.
Teknolojiler
- Python
- Codex plugin hooks
- Codex app-server
- ModelTrace
- macOS
Riskler
- README'de verilen %100 doğruluk, kalibre edilmiş bankadaki cross-validation sonucudur; gerçek Codex oturumlarında aynı doğruluğu garanti etmez.
- Rastgele sayı yanıtlarından model tanıma yöntemi model güncellemeleri, yanıt değişkenliği ve fingerprint bankasında bulunmayan modeller nedeniyle hatalı veya belirsiz sonuç verebilir.
- Probe'lar model çağrısı yaptığı için maliyet ve kullanım kotaları doğurabilir; README'deki 'no tokens' ifadesi kayıt değişikliklerinin izlenmesine ilişkindir, probe'lara değil.
- Araç macOS 15 veya yenisini ve plugin hooks destekleyen Codex sürümünü gerektiriyor; README'de test edilen sürüm 0.154 olarak belirtilmiş.
- README'ye göre uygulama henüz notarized değil; ilk açılışta macOS güvenlik uyarısı ve elle izin verme adımı gerekiyor.
- 12 günlük proje ve 3 farklı yazar, bakım sürekliliği ve hata ayıklama kapasitesi konusunda henüz sınırlı kanıt sunuyor.
Detaylı değerlendirme
Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.