Havuz

jevals, agent trace'lerini eval ve guardrail kontrollerinden tek istekte geçirerek production veya agent loop içinde değerlendirmeyi amaçlayan bir Python kütüphanesidir.

Neden yükseliyor · 7 günlük bir repoda 97 yıldız, 5 commit ve 4 farklı yazar erken ilgi ve katkı işareti. Tek istekte birden fazla kontrol, düşük maliyet ve agent loop'a uygun hız iddiaları dikkat çekiyor; performans ve maliyet rakamları README'de verilmiş, bağımsız doğrulama olarak kabul edilmemeli.

Future AGI, LLM ve AI agent uygulamalarını değerlendirme, izleme, simüle etme ve koruma işlerini self-host edilebilen tek bir platformda birleştiriyor.

Neden yükseliyor · Konu, agent uygulamalarında evaluation ve observability ihtiyacının artmasıyla örtüşüyor; 157 günlük repo yaşına karşılık 2.081 yıldız ve son 28 günde 597 commit geliştirme temposuna işaret ediyor. Farklı yazar sayısı 6; bu veriler ilginin nedenini tek başına kanıtlamaz ve yıldızlar benimseme ya da kalite ölçüsü değildir.

Waku, yerel SQLite memory, agent loop ve eval araçlarını bir araya getiren, Python tabanlı kişisel AI assistant uygulamasıdır.

Neden yükseliyor · 79 günlük bir repo için 1.849 yıldızın yanında son 28 günde 30 commit ve 7 farklı yazar bulunması görünür ilgi ve devam eden geliştirme gösteriyor. README'nin sade, okunabilir agent loop ve entegre memory/eval yaklaşımı da projeyi agent harness arayan geliştiricilere çekici kılıyor; bu metrikler benimsenme veya üretim başarısını tek başına kanıtlamıyor.

FailproofAI, farklı AI agent harness’lerindeki çalıştırmaları izleyen ve tehlikeli tool çağrılarını yürütülmeden önce policy ile engelleyebilen bir araçtır.

Neden yükseliyor · 175 günlük bir repo için 5.166 yıldız ve son 28 günde 84 commit ile 8 farklı yazar, hem belirgin ilgiye hem de yakın dönem geliştirme faaliyetine işaret ediyor. Çok sayıda harness için ortak observability ve enforcement sunma iddiası, agent araçlarının çeşitlendiği dönemde dikkat çekici; yıldızlar tek başına benimseme veya kalite kanıtı değil.

Build agentic systems. Run them with confidence. Orchestrate agents, automate business processes, inspect every execution, and keep humans i

Agent trace and tool-use safety evaluation lab.

Research-backed, eval-driven skills for AI agents

Run your real agent with and without your skills, MCPs, and rules. See which ones actually help, and what they cost in tokens. Supports Clau

Behavioral eval lab (Quorum) for the superpowers project that drives real coding-agent CLIs (Claude, Codex, Gemini, Kimi, and more) through

My Pi coding agent setup: secret redaction, LSP, searchable context, recall, telemetry, observability, and team mode. Toggle with /extension

Same model, different wrapper: a from-scratch benchmark comparing coding-agent harnesses (codex, pi, opencode, cursor, devin) and open model

Open-source skills for Claude Code and Codex, with an MCP server, a PyPI package and Suede Awesome Everything, a directory that scores AI ag

A langGraph-powered multi-agent RAG assistant for warranty, return, and consumer decision workflow.

Local LLM cost-tracking proxy for OpenAI, Anthropic, Gemini, and pinned OpenRouter calls with token usage, failure, and billing-integrity re

Reproducible voice-AI benchmarking — TTS / STT / S2S latency and accuracy.

Run Inspect AI evals in the cloud

Benchmark, evaluate, and optimize skills to ensure reliable performance across all LLMs

A composable framework for reproducible evaluation of long-running agents.

🧪💥 Evaluation framework based on Vitest, the testing framework you familiar with, for agents, models, and more.

Optimize any AI agent’s skills, tools/MCP, and prompts against your own evals.

AI evaluators CLI for your AI apps and Agents - Dynatrace AI Observability

Open benchmark for Claude Code SEO skills — real headless execution against fixture sites with planted-defect answer keys. Deterministic sco

Phoenix-native LLM evaluation, prompt testing, model comparison, red teaming, and observability for Elixir

Open-source test harness for AI agents. Stress-test production agents with adversarial multi-turn scenarios in CI

Make Claude Opus 4.8 behave like Claude Fable 5 — doctrine output style, drift-catching hooks, and an eval loop against golden Fable transcr

Skills for your skills. Create, test, audit, package, and visualize Agent Skill libraries—locally.

Type-aware, evidence-backed delivery contract for AI coding harnesses. Different agents in. One predictable human handoff out.

Blind A/B testing for AI agent skills, .cursorrules, CLAUDE.md, and system prompts. Detects placebo and harmful instructions.

Teach your agent to work with evals: WHEN you actually need an eval or benchmark, HOW to build one that holds up, and how to read what it te

Practical LLM evaluation for teams that ship to production. Deterministic + LLM-as-judge evaluators, dataset support, CI/CD integration.

Benchmark LLMs head-to-head on your own prompts.

Your Evals Are Lying To You: a hands-on TypeScript curriculum for LLM evals, from a five-line assertion to a live diagnostic console. By Tej

Diff your AI agent's behavior between two runs. See exactly which tool calls, args, costs and outputs changed when you swap models or edit p

Canonical memory infrastructure: BM25 recall over trusted files for AI agents.

Decision harness for TypeSafe Jev — confidence gates, shadow mode, recipes, and evals. Claude CLI 48.9s → Jev 1.3s on the same row-filter jo