Havuz

RAG over GitHub issues, with a hand-reviewed eval set and an audit of the judge itself. Reports the interval, not just the best number.

Open-source benchmark for browser AI agents on daily tasks.

IdeaTaste - A benchmark for research taste: let LLM agents propose research ideas, then check how many of them the research area actually we

Stateful ride-support agent: versioned claims, evidence-backed RAG, durable memory and guarded MCP tools.

Less hype. Better harnesses. Measurable outcomes. AI Agent 思考与实践：上下文、工具、评估与超越拟人的设计。

The first exam for code agents in the physical world: frozen robot tasks from many benchmark suites, each answered with a program and verifi

Swap one RAG pipeline stage, hold the rest fixed, and measure whether the gain survives composition. The framework behind "Retrieval Augment

Self-evolving agentic reward framework for image-editing evaluation — 47.4% on EditReward-Bench from only 100 preference demos, no reward-mo

ParseBench - A Document Parsing Benchmark for AI Agents

Robot-agent harness with a CLI and local Web console for LIBERO short evaluation

AI Agent / LLM application engineer Chinese interview question bank: 2,038 questions with reference answers

Run your real agent with and without your skills, MCPs, and rules. See which ones actually help, and what they cost in tokens. Supports Clau

Litefuse - Agent Observability and Evaluation Platform

Benchmark, evaluate, and optimize skills to ensure reliable performance across all LLMs

A composable framework for reproducible evaluation of long-running agents.

🧪💥 Evaluation framework based on Vitest, the testing framework you familiar with, for agents, models, and more.

Открытый бенчмарк LLM: какая нейросеть лучше пишет код 1С:Предприятие (BSL). Объективная оценка LLM по методике SMOP с реальным исполнением

Evidence-grounded evaluation for AI agents — verifies each claim against the agent's real tool outputs (constrained, evidence-grounded model

The Fable Method, coding agent’lar için görevleri sınıflandırma, kanıt toplama, değişiklik yapma ve sonucu doğrulama adımlarını tanımlayan skills ve bunları sınayan eval’ler sunuyor.

Neden yükseliyor · 83 günde 2294 yıldız almış olması dikkat çekici. README’de belirli senaryolara ait sonuçlar, başarısızlıklar ve ham çıktılara bağlantılar sunulması ilgi görmesini açıklayabilir; ancak yükselişin kesin nedeni bilinmiyor. Son 28 günde commit ve farklı yazar etkinliği yok.

Yao Meta Skill, tekrar kullanılabilir agent skills oluşturma, değerlendirme, paketleme ve yönetişim süreçlerini tek bir araç zincirinde birleştiren Python projesidir.

Neden yükseliyor · Agent skills ve bunların platformlar arasında taşınabilirliği gündemde; proje, üretimin yanı sıra eval ve yönetişim süreçlerini de kapsayan geniş bir kapsam sunuyor. 180 günde 2675 yıldız ilgiye işaret etse de son 28 günde commit ve farklı yazar olmaması güncel geliştirme veya topluluk ivmesi için kanıt sağlamıyor.

Open memory & reliability layer for AI agents + independent judging/verification (NACRE judge, caliber-bench meta-benchmark, preregistered c

🦞 ResearchClawBench: Evaluating AI Agents for Automated Research from Re-Discovery to New-Discovery

DecisionPivot: a diagnostic benchmark for decision models in LLM systems. Contrast pairs that differ in one decisive detail, generators with

TerminalWorld: Benchmarking Agents on Real-World Terminal Tasks (NeurIPS 2026 Evaluations and Datasets Track)

The experience graph for AI agents. Self-hosted memory, human-reviewed decisions, and outcome-backed datasets for model evaluation and learn

How much does an image model change what you told it to leave alone? Chained-edit benchmark for image models + installable scorer and Claude

Mutation testing for your LLM evals — degrade the system under test and check whether your evals would actually catch a regression.

Research prototype for trace-based observability and failure analysis in retrieval-augmented generation.

LoopArena, uzun süreli yazılım görevlerinde bir coding agent’ı yönlendiren modelleri ortak koşullarda karşılaştırmak için benchmark ve çalıştırma altyapısı sunuyor.

Neden yükseliyor · Coding agents’ın uzun süreli iş akışlarında nasıl yönlendirileceği güncel bir araştırma konusu; LoopArena bu konuya açık protokol, benchmark sonuçları ve bir arXiv paper ile dikkat çekiyor. Ancak 146 yıldız, 28 günlük repo yaşı ve son 28 günde tek farklı yazar, ilginin henüz yaygın benimsemeye dönüştüğünü göstermiyor.

EvoTrace, Claude Code ve Codex oturumlarını inceleyip eğitim, değerlendirme ve doğrulama için yeniden kullanılabilir varlıklara dönüştürür.

Neden yükseliyor · 39 günde 292 yıldız, coding agent oturumlarından eğitim ve değerlendirme varlığı üretme fikrine ilgi olduğunu gösteriyor; ancak bu ilginin nedeni ölçümlerden anlaşılamıyor. Son 28 günde commit ve farklı yazar olmaması, ilginin devam eden geliştirme veya benimsemeyle desteklendiğine dair kanıt sunmuyor.

deedchain, browser agent raporlarındaki iddiaları kaydedilmiş ground truth ile karşılaştırarak rapor doğruluğunu ölçen bir benchmark ve Python kütüphanesidir.

Neden yükseliyor · Repo yalnızca 23 günlük ve 28 yıldızlı; son 28 gün commit ve farklı yazar verisi ölçülmediği için yükselişin arkasındaki aktivite veya benimsenme düzeyi doğrulanamıyor. Rapor doğruluğunu ayrı bir değerlendirme konusu yapması dikkat çekici olsa da README'deki “first benchmark” iddiası bağımsız olarak doğrulanmış değil.

GAN-style self-improvement loop for any text artifact: mutate, grade with a SEPARATE model, keep only verified wins (pairwise-judged), rever

Benchmark for comparing agent harnesses on everyday online tasks — fixes the base model, varies the harness. Sister project of ClawBench, sa

AI agent benchmark hackability scanner — find evaluation vulnerabilities before they undermine your results

Learning to Evaluate Before Improving: Automatic Rubric Induction for Automatic Research Agents

Run cyber-AI agents against real missions in isolated environments. Record everything as OpenTelemetry evidence. Grade the evidence, not the

Reference harness for the Big Finance benchmark of workflow-grounded financial-research questions

An external memory for LLMs: a bi-temporal knowledge graph with hybrid (keyword + vector) retrieval and a self-improving reflection loop. Be

RAG parameter sweep and evaluation toolkit — a practical way to test how different vector databases, embedding models, chunking strategies,

Snapshot testing for LLM apps and agents, built to run locally and block regressions in CI.

Fast, typed Python framework for Jev-as-a-Judge/Decision-model evaluation for LLMs, RAG, and AI agents along with human-label calibration.

Cairn runs your AI and ML pipelines behind budgets, policy, approvals and an audit trail.

PromptLedger, prompt şablonlarını fingerprint ile sürümleyip aday yanıtları karşılaştıran ve sonuçları tekrarlanabilir raporlara dönüştüren bir Python aracı ile Go CLI sunuyor.

Neden yükseliyor · 25 günlük bir repo için 35 yıldız dikkat çekiyor; ancak son 28 günde yalnızca 1 commit ve 1 farklı yazar var. Bu nedenle ilginin kalıcı benimsemeye dönüştüğünü gösteren yeterli aktivite kanıtı henüz yok.

Harness-oriented agent system framework for production-grade LLM agent applications

Alignment-research scaffold (autoresearch-style) for LLM guardrails: search over a single policy.md surface

The marketplace for verifiable AI outcomes: state a task, get a fixed price upfront, and Primitive Bench routes across tools to complete it,

⚡ Unit tests for AI. Test prompts, compare models, save money.

:dog: Beagle is designed to be the unified platform for the broader Recursive Self-Improvement (RSI) ecosystem. Think of it as Hugging Face

A dishwasher-loading game on a physical simulation of one real machine, built to benchmark language models and playable in a browser. The ga

A survey of rubrics across the evolving LLM landscape.