AMAP-ML/LoopArena

Neden yükseliyor

Coding agents’ın uzun süreli iş akışlarında nasıl yönlendirileceği güncel bir araştırma konusu; LoopArena bu konuya açık protokol, benchmark sonuçları ve bir arXiv paper ile dikkat çekiyor. Ancak 146 yıldız, 28 günlük repo yaşı ve son 28 günde tek farklı yazar, ilginin henüz yaygın benimsemeye dönüştüğünü göstermiyor.

Problem

Coding agent’ların tek seferlik görev başarısı ölçülebilse de, bir agent’ın ilerlemesini izleyip sonraki işi veya doğrulamayı seçen Controller modellerinin uzun süreli görevlerdeki karar kalitesini karşılaştırmak zor.

Çözüm

Ayrı bir Worker kod değişikliklerini yaparken Controller, read-only Reporter tarafından hazırlanan Evidence Packet üzerinden bir sonraki işi, doğrulamayı veya durmayı seçiyor. Type I, II ve III benchmark’ları bu kararları farklı kapsam ve maliyetlerde ölçüyor; Type II ve III için no-control ve fixed-control referansları da veriliyor.

Yenilik

Öne çıkan fikir, modeli doğrudan kod yazan agent olarak değil, ayrı bir Worker’ı yöneten runtime Controller olarak değerlendirmesi. Bu, agent değerlendirmesine farklı bir ölçüm katmanı ekliyor; ancak yeni bir temel teknik yöntem veya yaygınlaşmış standart olduğu henüz kanıtlanmış değil.

Teknolojiler

• Python
• SCBench
• BeyondSWE
• Qwen3.7-Plus

Riskler

• Type II ve Type III toplam 27 görevle sınırlı; sonuçların daha geniş yazılım görevlerine genellenebilirliği belirsiz.
• README’deki sonuçlar beş Controller modeli ve ortak Qwen3.7-Plus Worker/Reporter düzenine dayanıyor; farklı Worker veya çalışma koşullarında sıralama değişebilir.
• Benchmark skoru, gerçek ekiplerin uzun süreli geliştirme iş akışlarındaki faydayı tek başına kanıtlamaz.
• Proje 28 günlük ve son 28 günde 7 commitin tamamı tek farklı yazardan; bakım sürekliliği ve bağımsız katkı düzeyi için kanıt sınırlı.
• Model sürümleri ve sağlayıcıların değişmesi, sonuçların zaman içinde tekrarlanabilirliğini etkileyebilir.