Havuz

RAG over GitHub issues, with a hand-reviewed eval set and an audit of the judge itself. Reports the interval, not just the best number.

IdeaTaste - A benchmark for research taste: let LLM agents propose research ideas, then check how many of them the research area actually we

Benchmark and fix LLM hallucinations when extracting figures from SEC 10-K filings

Less hype. Better harnesses. Measurable outcomes. AI Agent 思考与实践：上下文、工具、评估与超越拟人的设计。

Stateful ride-support agent: versioned claims, evidence-backed RAG, durable memory and guarded MCP tools.

Swap one RAG pipeline stage, hold the rest fixed, and measure whether the gain survives composition. The framework behind "Retrieval Augment

DecisionPivot: a diagnostic benchmark for decision models in LLM systems. Contrast pairs that differ in one decisive detail, generators with

A dishwasher-loading game on a physical simulation of one real machine, built to benchmark language models and playable in a browser. The ga

Measures how much code LLM agents waste. 5 tasks, sandboxed, weekly snapshots, contestable references.

A platform for running and comparing harness self-improvement methods.

How much does an image model change what you told it to leave alone? Chained-edit benchmark for image models + installable scorer and Claude

Behavioral regression testing for AI apps and agents: pytest plugin, behavior diff, CI gate, and document extraction metrics

Fast, typed Python framework for Jev-as-a-Judge/Decision-model evaluation for LLMs, RAG, and AI agents along with human-label calibration.

Model routing is a System 1 job: a 421M local decision engine (Laya) against a GPT-5 nano reasoning router. Same accuracy, 35x faster, free.

The first exam for code agents in the physical world: frozen robot tasks from many benchmark suites, each answered with a program and verifi

Raw benchmark logs for Swift-Qwen3.8-27B vs the Qwen3.8-27B BF16 base: every response, score, and config across 9 benchmarks

从原作台词蒸馏角色的说话方式，落成可验证的 prompt 约束

Benchmark coding agents and agent harnesses on 226 deterministic file-editing tasks with byte-exact verification and a public leaderboard.

deedchain, browser agent raporlarındaki iddiaları kaydedilmiş ground truth ile karşılaştırarak rapor doğruluğunu ölçen bir benchmark ve Python kütüphanesidir.

Neden yükseliyor · Repo yalnızca 23 günlük ve 28 yıldızlı; son 28 gün commit ve farklı yazar verisi ölçülmediği için yükselişin arkasındaki aktivite veya benimsenme düzeyi doğrulanamıyor. Rapor doğruluğunu ayrı bir değerlendirme konusu yapması dikkat çekici olsa da README'deki “first benchmark” iddiası bağımsız olarak doğrulanmış değil.

PromptLedger, prompt şablonlarını fingerprint ile sürümleyip aday yanıtları karşılaştıran ve sonuçları tekrarlanabilir raporlara dönüştüren bir Python aracı ile Go CLI sunuyor.

Neden yükseliyor · 25 günlük bir repo için 35 yıldız dikkat çekiyor; ancak son 28 günde yalnızca 1 commit ve 1 farklı yazar var. Bu nedenle ilginin kalıcı benimsemeye dönüştüğünü gösteren yeterli aktivite kanıtı henüz yok.

Semantic cache strategy bench: replay recorded request traces through candidate caching policies and measure which one actually pays off.

LoopArena, uzun süreli yazılım görevlerinde bir coding agent’ı yönlendiren modelleri ortak koşullarda karşılaştırmak için benchmark ve çalıştırma altyapısı sunuyor.

Neden yükseliyor · Coding agents’ın uzun süreli iş akışlarında nasıl yönlendirileceği güncel bir araştırma konusu; LoopArena bu konuya açık protokol, benchmark sonuçları ve bir arXiv paper ile dikkat çekiyor. Ancak 146 yıldız, 28 günlük repo yaşı ve son 28 günde tek farklı yazar, ilginin henüz yaygın benimsemeye dönüştüğünü göstermiyor.

Robot-agent harness with a CLI and local Web console for LIBERO short evaluation

The experience graph for AI agents. Self-hosted memory, human-reviewed decisions, and outcome-backed datasets for model evaluation and learn

skilled: open-source agent skill evaluation CLI and MCP server for Codex and Claude Code. Test skills, detect regressions, and improve with

:dog: Beagle is designed to be the unified platform for the broader Recursive Self-Improvement (RSI) ecosystem. Think of it as Hugging Face

EvoTrace, Claude Code ve Codex oturumlarını inceleyip eğitim, değerlendirme ve doğrulama için yeniden kullanılabilir varlıklara dönüştürür.

Neden yükseliyor · 39 günde 292 yıldız, coding agent oturumlarından eğitim ve değerlendirme varlığı üretme fikrine ilgi olduğunu gösteriyor; ancak bu ilginin nedeni ölçümlerden anlaşılamıyor. Son 28 günde commit ve farklı yazar olmaması, ilginin devam eden geliştirme veya benimsemeyle desteklendiğine dair kanıt sunmuyor.

Scientific RL and SFT post-training for AI agents: build evals that can fail, simulate situations, judge checked against people, pass@1 with

Learning to Evaluate Before Improving: Automatic Rubric Induction for Automatic Research Agents

Regression testing and configuration sweeps for RAG pipelines, with the statistics to know whether a change actually helped.

Benchmark for repository-level code understanding: 500 open-ended questions from real GitHub Discussions across 50 repositories, graded by a

Benchmark your local LLMs: speed, memory, and quality, in one command. TUI leaderboard for Ollama, LM Studio, llama.cpp, and vLLM.

Run cyber-AI agents against real missions in isolated environments. Record everything as OpenTelemetry evidence. Grade the evidence, not the

A composable framework for reproducible evaluation of long-running agents.

OpenRouter TypeScript harness for reproducible LLM benchmarks and evaluations.

EvalPort — The Open LLM Evaluation Standard. Portable test cases, graders, suites, and results across DeepEval, Promptfoo, Inspect AI, and m

A production-oriented LLM engineering platform with OpenAI-compatible serving, streaming, observability, evaluation, reproducible experiment

Eval-driven multimodal agent for identifying trees, logs, bark, leaves and wood from photographs. Dendrology is the reference domain; the e

A minimal coding-agent harness built to measure what context management actually costs: constraint survival after compaction (8%→83%), def

AI Agent / LLM application engineer Chinese interview question bank: 2,038 questions with reference answers

Snapshot testing for LLM apps and agents, built to run locally and block regressions in CI.

Cairn runs your AI and ML pipelines behind budgets, policy, approvals and an audit trail.

PatientAgentBench: A Benchmark Framework for Evaluating Patient-Facing Health AI Agents

Red Team AI Benchmark: Evaluating LLMs for authorized offensive-security tasks

Local-first evaluation framework for RAG systems and AI Agents. 18+ metrics, CLI + SDK, framework-agnostic. The pytest of AI evaluation.

The Fable Method, coding agent’lar için görevleri sınıflandırma, kanıt toplama, değişiklik yapma ve sonucu doğrulama adımlarını tanımlayan skills ve bunları sınayan eval’ler sunuyor.

Neden yükseliyor · 83 günde 2294 yıldız almış olması dikkat çekici. README’de belirli senaryolara ait sonuçlar, başarısızlıklar ve ham çıktılara bağlantılar sunulması ilgi görmesini açıklayabilir; ancak yükselişin kesin nedeni bilinmiyor. Son 28 günde commit ve farklı yazar etkinliği yok.

Run the AEON Bench suite on your own hardware: verified HuggingFace pull → serve → benchmark (text · agentic ×3 harnesses · vision · audio ·

Harness-oriented agent system framework for production-grade LLM agent applications

Gen AI Evaluation Toolkit on AWS is a flexible, cloud-native accelerator built on AWS serverless architecture that enables comprehensive eva

A design-of-experiments platform for evaluating compound AI systems - find which technique drives quality, by how much, and whether the di