Havuz

ADR, AI agent’ları keşfetmek, etkinliklerini gözlemlemek ve riskli davranışları tespit etmek için araçlar ile benchmark’lar sunan açık kaynaklı bir güvenlik sistemidir.

Neden yükseliyor · AI agent güvenliği güncel ve kurumsal ölçekte büyüyen bir ihtiyaç; Uber’in projeyi açık kaynak olarak yayımlaması, README’de üretimde kullanıldığını ve MLSys 2026’da kabul edilen bir makaleyle desteklendiğini belirtmesi ilgiyi artırıyor. 167 günde 1.620 yıldızın yanı sıra son 28 gündeki 44 commit ve 15 farklı yazar, kayda değer proje etkinliğine işaret ediyor; ancak yıldız geçmişi olmadan yükseliş hızını doğrulamak mümkün değil.

SkillCorpus, dağınık SKILL.md dosyalarını agent'lar için seçilmiş, aranabilir skill corpus'larına dönüştüren ve retrieval ile evaluation araçları sunan açık kaynak bir altyapıdır.

Neden yükseliyor · Agent'lar için paylaşılan ve göreve göre seçilen skill katmanına ilgi var; repo kısa sürede 667 yıldıza ulaşmış ve son 28 günde 9 commit ile 3 farklı yazar katkı vermiş. README ayrıca birden fazla benchmark'ta iyileşme bildiriyor; bu sonuçları bağımsız olarak doğrulayamıyorum.

Glyd, model ağırlıklarını ve KV cache'i bit düzeyinde kayıpsız biçimde sıkıştırıp GPU'da kullanmayı hedefleyen bir compression yazılımıdır.

Neden yükseliyor · README, yaygın bir maliyet sorununa doğrudan yanıt verdiğini ve 32B ile 72B modellerde daha az GPU ile çalışmaya dair ölçümler sunuyor; ancak 9 günlük repoda 170 yıldız ve 474 commit'in yalnızca 2 farklı yazardan gelmesi, ilginin ve geliştirme temposunun geniş bir katkıcı tabanına dayandığını göstermiyor. Yükselişin kesin kaynağı veya bağımsız benimsenme verisi bilinmiyor.

LoopArena, uzun süreli yazılım görevlerinde bir coding agent’ı yönlendiren modelleri ortak koşullarda karşılaştırmak için benchmark ve çalıştırma altyapısı sunuyor.

Neden yükseliyor · Coding agents’ın uzun süreli iş akışlarında nasıl yönlendirileceği güncel bir araştırma konusu; LoopArena bu konuya açık protokol, benchmark sonuçları ve bir arXiv paper ile dikkat çekiyor. Ancak 146 yıldız, 28 günlük repo yaşı ve son 28 günde tek farklı yazar, ilginin henüz yaygın benimsemeye dönüştüğünü göstermiyor.

SWE-sweep, agent'ların büyük kod tabanlarındaki konumu ve türü önceden belirtilmeyen birden fazla bug'ı bulup düzeltebilmesini ölçen bir benchmark'tır.

Neden yükseliyor · 1 günlük, 33 yıldızlı yeni bir Facebook Research benchmark'ı olması ve LLM agent değerlendirmesine yönelik güncel bir soruyu ele alması dikkat çekebilir. Ancak yükselişin kesin nedeni bilinmiyor; son 28 günlük commit ve farklı yazar verisi ölçülmemiş.

AI Model World, yüzlerce AI modelini fiyat, yetenek, benchmark ve yayın tarihi verileriyle karşılaştıran piksel-art görselli bir web sitesidir.

Neden yükseliyor · Güncel model karşılaştırması ve görsel sunum, hızla değişen AI ekosisteminde ilgi çekici bir kullanım sunuyor. 11 günde 191 yıldız ve son 28 günde 56 commit dikkat çekici bir başlangıç; ancak iki farklı yazar bulunması ve kısa geçmiş, benimsemenin kapsamı ya da sürdürülebilirliği hakkında henüz güçlü kanıt oluşturmuyor.

EvoTrace, Claude Code ve Codex oturumlarını inceleyip eğitim, değerlendirme ve doğrulama için yeniden kullanılabilir varlıklara dönüştürür.

Neden yükseliyor · 39 günde 292 yıldız, coding agent oturumlarından eğitim ve değerlendirme varlığı üretme fikrine ilgi olduğunu gösteriyor; ancak bu ilginin nedeni ölçümlerden anlaşılamıyor. Son 28 günde commit ve farklı yazar olmaması, ilginin devam eden geliştirme veya benimsemeyle desteklendiğine dair kanıt sunmuyor.

Agent Smith, Codex görevleri için yerel model yönlendirmesi, macOS kullanım izleme arayüzü ve tekrarlanabilir benchmark araçları sunuyor.

Neden yükseliyor · Altı günde 194 yıldız alması dikkat çekici; yerel model routing, görünür kullanım takibi ve benchmark sonuçlarını tek projede birleştirmesi ilgi çekmiş olabilir. Ancak bu erken ilgi benimseme kanıtı değil: son 28 günde 5 commit ve 1 farklı yazar var.

agy-staff, Claude Code, OpenAI Codex ve Pi kullanıcılarının Google Antigravity CLI üzerinden Gemini tabanlı bir agent’ı farklı görevler için çağırmasını sağlayan bir plugin’dir.

Neden yükseliyor · Farklı coding-agent harness’leri üzerinden agy’ye görev devretme fikri dikkat çekici; 40 günlük yaşına karşılık 652 yıldız ve son 28 günde 14 commit ile 3 farklı yazar görünür bir ilgi ve geliştirme faaliyetine işaret ediyor. Bu veriler kullanım veya kalite kanıtı değildir.

deedchain, browser agent raporlarındaki iddiaları kaydedilmiş ground truth ile karşılaştırarak rapor doğruluğunu ölçen bir benchmark ve Python kütüphanesidir.

Neden yükseliyor · Repo yalnızca 23 günlük ve 28 yıldızlı; son 28 gün commit ve farklı yazar verisi ölçülmediği için yükselişin arkasındaki aktivite veya benimsenme düzeyi doğrulanamıyor. Rapor doğruluğunu ayrı bir değerlendirme konusu yapması dikkat çekici olsa da README'deki “first benchmark” iddiası bağımsız olarak doğrulanmış değil.

SelfStarter, bir coding agent’a görev brief’i verip işi insan yönlendirmesi olmadan birden çok oturum boyunca yürütmesi için tasarlanmış erken aşama bir harness’tir.

Neden yükseliyor · 58 günlük bir repoda 387 yıldız, uzun süre kendi işini yürüten agent’lara yönelik ilgiyle uyumlu. README’deki Agent City örneği de fikri somutlaştırıyor. Ancak son 28 gündeki 1 commit ve 1 farklı yazar, güncel geliştirme temposu veya geniş katkı tabanı için güçlü kanıt sunmuyor.

PromptLedger, prompt şablonlarını fingerprint ile sürümleyip aday yanıtları karşılaştıran ve sonuçları tekrarlanabilir raporlara dönüştüren bir Python aracı ile Go CLI sunuyor.

Neden yükseliyor · 25 günlük bir repo için 35 yıldız dikkat çekiyor; ancak son 28 günde yalnızca 1 commit ve 1 farklı yazar var. Bu nedenle ilginin kalıcı benimsemeye dönüştüğünü gösteren yeterli aktivite kanıtı henüz yok.

AI API 中转站评测排行与切换工具：实测可用率、延迟与价格 · Open-source AI API relay benchmark, rankings & switcher for Claude Code / Codex

Open memory & reliability layer for AI agents + independent judging/verification (NACRE judge, caliber-bench meta-benchmark, preregistered c

Open-source benchmark for browser AI agents on daily tasks.

[EMNLP 2026] MobileGym: A Verifiable and Highly Parallel Simulation Platform for Mobile GUI Agent Research · 浏览器里运行的安卓模拟器 · Browser-hosted A

Your coding agent paints pixel art in the Aseprite window you already have open. MCP server + skills for Claude Code, omp, Codex, Gemini CLI

ParseBench - A Document Parsing Benchmark for AI Agents

Entrpi/ds4, a Blackwell CUDA perf fork of antirez/ds4 on NVIDIA DGX Spark: one-command install, ~3x upstream prefill, ~1.5x decode, DSpark,

:sunrise: A comprehensive, cutting-edge open-source framework for next-generation Transformers/LLM, with compute-matched benchmarking and a

Evidence-backed AMD Strix Halo local-AI setup and benchmarks: Qwen3.8, Ollama, llama.cpp, Vulkan/ROCm, large GGUFs, and cross-OEM results.

[ICML 2026] Autonomous AI agent for end-to-end spatial proteomics analysis, with SP-Bench for agentic multiplexed-imaging workflows.

🦞 ResearchClawBench: Evaluating AI Agents for Automated Research from Re-Discovery to New-Discovery

[Public preview] Externally scored agentic ML research benchmark: 60 tasks, real competition ground truth. Open protocol, operated evaluatio

The first exam for code agents in the physical world: frozen robot tasks from many benchmark suites, each answered with a program and verifi

An esoteric programming language built to break LLMs and coding agents.

Feel how fast a local LLM runs before you buy the hardware

Agent Memory Benchmark

DecisionPivot: a diagnostic benchmark for decision models in LLM systems. Contrast pairs that differ in one decisive detail, generators with

Speedrunning LoRA fine-tuning: frozen task, frozen hardware, public wall-clock leaderboard. modded-nanogpt for fine-tuning.

aws-bench measures how well AI agents and model combinations perform on real AWS work — diagnosing misconfigurations, provisioning infrastru

Same model, different wrapper: a from-scratch benchmark comparing coding-agent harnesses (codex, pi, opencode, cursor, devin) and open model

Benchmark local LLM serving by replaying real agent trajectories

Alignment-research scaffold (autoresearch-style) for LLM guardrails: search over a single policy.md surface

A benchmark for evaluating LLM × harness performance.

The marketplace for verifiable AI outcomes: state a task, get a fixed price upfront, and Primitive Bench routes across tools to complete it,

A Benchmark for Evaluating Agent Self-Evolution on Real Business Tasks

Official Code for the paper "Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents "

Ultra-Fast Python Solutions: 110x Speed Optimization Guide 2026

The online judge for the LLM era. Every case is a real customer delivery: you work it with a coding agent, and your system is judged once it

AgenticVBench: Can AI Agents Complete Real-World Post-Production Tasks?

Local LLM cost-tracking proxy for OpenAI, Anthropic, Gemini, and pinned OpenRouter calls with token usage, failure, and billing-integrity re

Benchmark AI Agents on Enterprise Workflows

SRA-Bench and SR-Agents: a benchmark and toolkit for skill-retrieval-augmented LLM agents.

Can AI agents rebuild websites through browser exploration?

State-Aware Collaboration Protocol: auditable work receipts for AI agents.

🔍 The hardest search benchmark in the wild — vague, multi-turn, proactive. 200 long-horizon tasks with persona-driven progressive disclosure

Self-evolving agentic reward framework for image-editing evaluation — 47.4% on EditReward-Bench from only 100 preference demos, no reward-mo

Offline cyber security agent for your apps and AI coding tools. Open R&D: measured in public, improved every release.

Agents can work. They cannot declare success. A governed coordination protocol for multi-agent AI work: eight contracts (task, resource, own