Havuz

Open-source agent reliability platform for discovering, investigating, and fixing production agent failures

CI for your coding-agent setup (CLAUDE.md, skills, hooks): pinned baselines, a canary on every Claude Code release, model and version matrix

DodoGuard: Take AI Agents to Production. Test, validate, and operate AI Agents before and after deployment.for Dify, Coze, FastGPT, n8n, Ten

Bug Hunt Bench: 105 real bugs in two production repos, frontier coding models (GPT-6, Claude, Grok, Gemini, DeepSeek...) find and fix them i

EvalForge, AI evaluation sonuçlarını baseline karşılaştırmaları ve CI quality gate’leriyle değerlendirip standart rapor formatlarında yayımlar.

Neden yükseliyor · RAG evaluation sonuçlarını CI’da denetlenebilir kanıta ve release gate’lerine bağlama ihtiyacına odaklanıyor; repo 34 günde 211 yıldız almış. Ancak README bağımsız doğrulanmış downstream benimsemenin henüz bulunmadığını belirtiyor ve son 28 günde katkı tek yazardan gelmiş; ilginin gerçek kullanımın kanıtı olduğu söylenemez.

Deletion-first Agent Skill for removing test bloat, verification theater, and speculative fallbacks while preserving behavior.

skilled: open-source agent skill evaluation CLI and MCP server for Codex and Claude Code. Test skills, detect regressions, and improve with

A lightweight, zero-dependency Python checkpoint layer for structured LLM output reliability.

LintEval: Benchmarking LLMs on Linter-Guided File Refactoring (EMNLP 2026 Findings) — multi-language benchmark for linter-guided refactoring

AMBER (sealed-in-amber historical replay evaluation): real-event replay, physical sealing, pre-registered scoring — method spec; cases priva

EvoTrace, Claude Code ve Codex oturumlarını inceleyip eğitim, değerlendirme ve doğrulama için yeniden kullanılabilir varlıklara dönüştürür.

Neden yükseliyor · 39 günde 292 yıldız, coding agent oturumlarından eğitim ve değerlendirme varlığı üretme fikrine ilgi olduğunu gösteriyor; ancak bu ilginin nedeni ölçümlerden anlaşılamıyor. Son 28 günde commit ve farklı yazar olmaması, ilginin devam eden geliştirme veya benimsemeyle desteklendiğine dair kanıt sunmuyor.

agy-staff, Claude Code, OpenAI Codex ve Pi kullanıcılarının Google Antigravity CLI üzerinden Gemini tabanlı bir agent’ı farklı görevler için çağırmasını sağlayan bir plugin’dir.

Neden yükseliyor · Farklı coding-agent harness’leri üzerinden agy’ye görev devretme fikri dikkat çekici; 40 günlük yaşına karşılık 652 yıldız ve son 28 günde 14 commit ile 3 farklı yazar görünür bir ilgi ve geliştirme faaliyetine işaret ediyor. Bu veriler kullanım veya kalite kanıtı değildir.

MCP gateway & OAuth MCP servers. LangGraph agent: memory, eval/tracking, PII guard, context trimming. Docker quick start for enterprise agen

A reproducible local LLM benchmarking platform with versioned datasets, deterministic scoring, and auditable reports.

A benchmark for testing whether coding agents can resolve engineering tasks in scientific software

OpenClaw + 大模型驱动的完整电商客服自动化系统：覆盖淘宝、拼多多、抖音、快手、小红书、视频号，包含浏览器/手机 Worker、订单物流与售后工具、记忆、回执、恢复和 Eval。

Mini Program Engineering Skill Suite is an Agent Skill suite for evidence‑first mini‑program development. It helps agents bring WeChat or ot

rook by TestMu AI: Agent Assurance from the terminal. Test how your AI agents actually behave across workflows, tools, and actions, and catc

Learning to Evaluate Before Improving: Automatic Rubric Induction for Automatic Research Agents

SkillCorpus, dağınık SKILL.md dosyalarını agent'lar için seçilmiş, aranabilir skill corpus'larına dönüştüren ve retrieval ile evaluation araçları sunan açık kaynak bir altyapıdır.

Neden yükseliyor · Agent'lar için paylaşılan ve göreve göre seçilen skill katmanına ilgi var; repo kısa sürede 667 yıldıza ulaşmış ve son 28 günde 9 commit ile 3 farklı yazar katkı vermiş. README ayrıca birden fazla benchmark'ta iyileşme bildiriyor; bu sonuçları bağımsız olarak doğrulayamıyorum.

Regression testing and configuration sweeps for RAG pipelines, with the statistics to know whether a change actually helped.

Evolutionary multi-agent runtime that breeds, evaluates, and improves autonomous agents across reproducible epochs to converge on optimizati

Cooking AGI / AGI 大锅烩 · Bilingual (English / 中文) ML & LLM notes with worked examples, step-by-step figures and coding practice. Free to read

Adversarial LLM Reversal for hermes-agent

PAST-Bench: Benchmarking the Foundations of Recursive Self-Improvement in Personal Agents

SelfStarter, bir coding agent’a görev brief’i verip işi insan yönlendirmesi olmadan birden çok oturum boyunca yürütmesi için tasarlanmış erken aşama bir harness’tir.

Neden yükseliyor · 58 günlük bir repoda 387 yıldız, uzun süre kendi işini yürüten agent’lara yönelik ilgiyle uyumlu. README’deki Agent City örneği de fikri somutlaştırıyor. Ancak son 28 gündeki 1 commit ve 1 farklı yazar, güncel geliştirme temposu veya geniş katkı tabanı için güçlü kanıt sunmuyor.

Open-source benchmark for evaluating LLMs on domain-specific geological reasoning, AI for geology, and source-grounded geological knowledge.

자기개선 후보를 채택할지 파레토 전선으로 판정하는 게이트 + 그 판정을 지탱하는 계측 규율. 사전등록·계기검침·부재증명 실측 포함.

Track 42,331+ AI benchmark, eval, dataset, and data-quality records from 40 public sources, with linked evidence and daily updates.

pytest for AI Apps — Fast, free, offline testing and self-improving prompts for Python developers.

My complete journey to becoming an Agentic AI Engineer through structured learning, projects, experiments, and production-ready implementati

多智能体小说写作框架 | Multi-agent novel-writing framework — 每个角色都有自己的脑子,每一章都有质量门禁

Evidence-first infrastructure for reproducible, isolated executable evaluation and online rewards.

Diff your AI agent's behavior between two runs. See exactly which tool calls, args, costs and outputs changed when you swap models or edit p

Engineering deterministic, production-grade systems around non-deterministic LLMs — FSM, durable execution, retries, DAGs, agent runtimes, m

Snapshot testing for LLM apps and agents, built to run locally and block regressions in CI.

Free Collaborative Dynamics Augment for risk-driven software verification, skeptical review, and isolated Agent behavioral evals.

Turn your Win, Mac or DGX Spark into an AI hotspot. Nightshift races hundreds of attempts overnight and keeps what passes. Plus the open con

Your Evals Are Lying To You: a hands-on TypeScript curriculum for LLM evals, from a five-line assertion to a live diagnostic console. By Tej

Benchmark coding agents and models on your own repository with private Harbor-formatted evals built from its merged pull requests.

The Regression Testing Framework for AI Agents. Replay · Evaluate · Assert · Catch Regressions — in CI. Like Jest for your AI layer.

Local-first evaluation framework for RAG systems and AI Agents. 18+ metrics, CLI + SDK, framework-agnostic. The pytest of AI evaluation.

Grade every agent, scraper and model in a claim's chain — provenance, trust scoring and audit evidence for LLM pipelines

A production GenAI architecture guide for Forward Deployed Engineer (FDE) and Applied AI interviews—RAG, agents, evals, security, and operat

Open benchmark for Claude Code SEO skills — real headless execution against fixture sites with planted-defect answer keys. Deterministic sco

Diagnosing policy grounding in LLM judges via causal erasure. Companion code to the AIES 2026 submission READ.

A design-of-experiments platform for evaluating compound AI systems - find which technique drives quality, by how much, and whether the di

A pure-Python structured memory benchmark for multi-agent LLM systems — context graph vs vector RAG vs raw history dump, five scenarios, 18

Mechanical Governance for LLM Decisions — model-agnostic governance regimes (R1/R2/R3), hard gates, entropy commit-reveal and governance met