facebookresearch/swe-sweep
How many bugs can LMs find & fix in large codebases?
Hızlı değerlendirme
Özet
SWE-sweep, agent'ların büyük kod tabanlarındaki konumu ve türü önceden belirtilmeyen birden fazla bug'ı bulup düzeltebilmesini ölçen bir benchmark'tır.
Profiline uyum
LLM agent’larını değerlendirmeye dokunsa da kodlama agent’ı benchmark’ı, profilindeki uygulama geliştirme veya dil eğitimi ihtiyaçlarını doğrudan karşılamıyor.
Neden yükseliyor
1 günlük, 33 yıldızlı yeni bir Facebook Research benchmark'ı olması ve LLM agent değerlendirmesine yönelik güncel bir soruyu ele alması dikkat çekebilir. Ancak yükselişin kesin nedeni bilinmiyor; son 28 günlük commit ve farklı yazar verisi ölçülmemiş.
Problem
Yaygın kod tabanlarında agent'ların yalnızca tarif edilmiş tek bir issue'yu çözmesini değil, ipucu olmadan bug bulup birden fazlasını onarabilmesini değerlendirmek zordur.
Çözüm
Gerçek repository'ler için Harbor task'ları kullanır; agent'ın patch'ini görünür testlere ve ayrı verifier ortamlarında çalıştırılan gizli subtask testlerine göre puanlar. Sonuçları çözülen toplam bug sayısı üzerinden toplar.
Yenilik
Agent'lara bug türü veya konumu hakkında ipucu vermeden, büyük repository'lerde birden fazla bug bulup düzeltme başarısını ölçmesi farklı bir değerlendirme odağı sunuyor. Bu yaklaşımın mevcut benchmark'lara göre üstünlüğü veya etkisi README'deki bilgilerle doğrulanamıyor.
Teknolojiler
- Python
- Harbor
- uv
- pytest
Riskler
- Repo çok yeni; bağımsız kullanım, sonuç tekrarlanabilirliği ve benchmark kalitesi hakkında henüz yeterli kanıt yok.
- README, kodun Harbor etrafında ince bir wrapper olduğunu belirtiyor; görevlerin çalışması Harbor sürüm uyumluluğuna ve projeye özel bir Harbor revision'ına bağlı.
- Görev ve gizli test kalitesi, bug sayımı ile puanların güvenilirliğini doğrudan etkiler; bu bilgiler verilen içerikte ayrıntılandırılmıyor.
- Benchmark görevleri ve sonuçları geniş ölçekte kullanılmadan önce veri sızıntısı, test kapsamı ve agent çalıştırma güvenliği ayrıca incelenmeli.
Detaylı değerlendirme
Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.