PillCrew/deedchain

Neden yükseliyor

Repo yalnızca 23 günlük ve 28 yıldızlı; son 28 gün commit ve farklı yazar verisi ölçülmediği için yükselişin arkasındaki aktivite veya benimsenme düzeyi doğrulanamıyor. Rapor doğruluğunu ayrı bir değerlendirme konusu yapması dikkat çekici olsa da README'deki “first benchmark” iddiası bağımsız olarak doğrulanmış değil.

Problem

Browser agent benchmark'ları çoğunlukla görevin başarıyla tamamlanıp tamamlanmadığını ölçüyor; agent'ın yaptığı işlemleri ve sonucu rapor ederken doğruyu söyleyip söylemediği görünmez kalabiliyor.

Çözüm

Raporlardan eylem, metrik ve sonuç iddialarını çıkarıp bunları deterministik Evidence verisiyle karşılaştırıyor; iddiaları sınıflandırıp truthfulness skoru ve yalan profili üretiyor. README'de 24 sabit görevlik bir test paketi ve agent çıktıları için adapter'lar da tanıtılıyor.

Yenilik

Task success'ten ayrı olarak rapor fidelity ölçümünü merkeze alıyor ve LLM judge yerine deterministik karşılaştırma kullanıyor. Bu, değerlendirme odağı açısından anlamlı bir yaklaşım; ancak yeniliğin pratik kapsamı README'de gösterilen sabit görevler ve otomatik tespit edilebilen iddialarla sınırlı görünüyor.

Teknolojiler

• Python
• stdlib
• pytest
• JSON
• SHA-256
• browser-use

Riskler

• 24 görevlik sabit benchmark, gerçek web siteleri ve daha çeşitli agent davranışları için yeterli kapsamı temsil etmeyebilir.
• Deterministik değerlendirme tekrarlanabilirlik sağlar; ancak karmaşık veya örtük ifadelerin doğru yorumlanmasını garanti etmez.
• Gold evidence ve görevlerin kapsamı sonuçları belirler; benchmark'ın kapsamadığı iddialar ölçüm dışında kalabilir.
• Repo yaşı çok kısa; commit ve yazar aktivitesi verisi ölçülmediğinden bakım sürekliliği hakkında kanıt yok.
• README'deki “first benchmark” ve “nobody is measuring that today” ifadeleri proje tarafından ileri sürülen iddialardır; verilen verilerle doğrulanamıyor.