Havuz

AI API 中转站评测排行与切换工具：实测可用率、延迟与价格 · Open-source AI API relay benchmark, rankings & switcher for Claude Code / Codex

Your coding agent paints pixel art in the Aseprite window you already have open. MCP server + skills for Claude Code, omp, Codex, Gemini CLI

The first exam for code agents in the physical world: frozen robot tasks from many benchmark suites, each answered with a program and verifi

Open-source benchmark for browser AI agents on daily tasks.

DecisionPivot: a diagnostic benchmark for decision models in LLM systems. Contrast pairs that differ in one decisive detail, generators with

Feel how fast a local LLM runs before you buy the hardware

An esoteric programming language built to break LLMs and coding agents.

ADR, AI agent’ları keşfetmek, etkinliklerini gözlemlemek ve riskli davranışları tespit etmek için araçlar ile benchmark’lar sunan açık kaynaklı bir güvenlik sistemidir.

Neden yükseliyor · AI agent güvenliği güncel ve kurumsal ölçekte büyüyen bir ihtiyaç; Uber’in projeyi açık kaynak olarak yayımlaması, README’de üretimde kullanıldığını ve MLSys 2026’da kabul edilen bir makaleyle desteklendiğini belirtmesi ilgiyi artırıyor. 167 günde 1.620 yıldızın yanı sıra son 28 gündeki 44 commit ve 15 farklı yazar, kayda değer proje etkinliğine işaret ediyor; ancak yıldız geçmişi olmadan yükseliş hızını doğrulamak mümkün değil.

SWE-sweep, agent'ların büyük kod tabanlarındaki konumu ve türü önceden belirtilmeyen birden fazla bug'ı bulup düzeltebilmesini ölçen bir benchmark'tır.

Neden yükseliyor · 1 günlük, 33 yıldızlı yeni bir Facebook Research benchmark'ı olması ve LLM agent değerlendirmesine yönelik güncel bir soruyu ele alması dikkat çekebilir. Ancak yükselişin kesin nedeni bilinmiyor; son 28 günlük commit ve farklı yazar verisi ölçülmemiş.

Official Code for the paper "Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents "

agy-staff, Claude Code, OpenAI Codex ve Pi kullanıcılarının Google Antigravity CLI üzerinden Gemini tabanlı bir agent’ı farklı görevler için çağırmasını sağlayan bir plugin’dir.

Neden yükseliyor · Farklı coding-agent harness’leri üzerinden agy’ye görev devretme fikri dikkat çekici; 40 günlük yaşına karşılık 652 yıldız ve son 28 günde 14 commit ile 3 farklı yazar görünür bir ilgi ve geliştirme faaliyetine işaret ediyor. Bu veriler kullanım veya kalite kanıtı değildir.

Offline cyber security agent for your apps and AI coding tools. Open R&D: measured in public, improved every release.

🔥 Orbia: Do Generated Videos Form a Consistent 3D World?

A Benchmark for Evaluating Agent Self-Evolution on Real Business Tasks

AI Model World, yüzlerce AI modelini fiyat, yetenek, benchmark ve yayın tarihi verileriyle karşılaştıran piksel-art görselli bir web sitesidir.

Neden yükseliyor · Güncel model karşılaştırması ve görsel sunum, hızla değişen AI ekosisteminde ilgi çekici bir kullanım sunuyor. 11 günde 191 yıldız ve son 28 günde 56 commit dikkat çekici bir başlangıç; ancak iki farklı yazar bulunması ve kısa geçmiş, benimsemenin kapsamı ya da sürdürülebilirliği hakkında henüz güçlü kanıt oluşturmuyor.

[EMNLP 2026] MobileGym: A Verifiable and Highly Parallel Simulation Platform for Mobile GUI Agent Research · 浏览器里运行的安卓模拟器 · Browser-hosted A

Benchmark local LLM serving by replaying real agent trajectories

Self-evolving agentic reward framework for image-editing evaluation — 47.4% on EditReward-Bench from only 100 preference demos, no reward-mo

Run cyber-AI agents against real missions in isolated environments. Record everything as OpenTelemetry evidence. Grade the evidence, not the

ParseBench - A Document Parsing Benchmark for AI Agents

Official benchmark reproduction code for the SAG paper

The online judge for the LLM era. Every case is a real customer delivery: you work it with a coding agent, and your system is judged once it

A dishwasher-loading game on a physical simulation of one real machine, built to benchmark language models and playable in a browser. The ga

Agent Memory Benchmark

AI coding agent harness for any hardware, local or cloud (OpenAI-compatible engines). Tuned for AMD Strix Halo: Qwen3.8 125B on the iGPU, NP

Blinded battles between coding agents: two agents, one prompt, you pick the winner. Desktop app, runs locally.

SkillCorpus, dağınık SKILL.md dosyalarını agent'lar için seçilmiş, aranabilir skill corpus'larına dönüştüren ve retrieval ile evaluation araçları sunan açık kaynak bir altyapıdır.

Neden yükseliyor · Agent'lar için paylaşılan ve göreve göre seçilen skill katmanına ilgi var; repo kısa sürede 667 yıldıza ulaşmış ve son 28 günde 9 commit ile 3 farklı yazar katkı vermiş. README ayrıca birden fazla benchmark'ta iyileşme bildiriyor; bu sonuçları bağımsız olarak doğrulayamıyorum.

Evidence-backed AMD Strix Halo local-AI setup and benchmarks: Qwen3.8, Ollama, llama.cpp, Vulkan/ROCm, large GGUFs, and cross-OEM results.

Benchmark AI Agents on Enterprise Workflows

🚀 Automated scraper & injector for 100+ free AI coding models into 9router combos. Live pre-tested, ranked by coding benchmarks & zero-conf

DolphinBench - Mapping the Pareto frontier of Agent Memory

Placebo-controlled benchmark of the most-starred coding agent skills

SelfStarter, bir coding agent’a görev brief’i verip işi insan yönlendirmesi olmadan birden çok oturum boyunca yürütmesi için tasarlanmış erken aşama bir harness’tir.

Neden yükseliyor · 58 günlük bir repoda 387 yıldız, uzun süre kendi işini yürüten agent’lara yönelik ilgiyle uyumlu. README’deki Agent City örneği de fikri somutlaştırıyor. Ancak son 28 gündeki 1 commit ve 1 farklı yazar, güncel geliştirme temposu veya geniş katkı tabanı için güçlü kanıt sunmuyor.

Official code for InfoVis: one 9B model for slide image generation and editing, with the VisSlideBench benchmark and 15M+ training records.

🦞 ResearchClawBench: Evaluating AI Agents for Automated Research from Re-Discovery to New-Discovery

aws-bench measures how well AI agents and model combinations perform on real AWS work — diagnosing misconfigurations, provisioning infrastru

A benchmark for evaluating LLM × harness performance.

State-Aware Collaboration Protocol: auditable work receipts for AI agents.

[NeurIPS 2026] MedMemoryBench: Benchmarking Agent Memory in Personalized Healthcare.

A composable framework for reproducible evaluation of long-running agents.

One-shot LLM eval cases by NAGI STUDIO - same prompt, different agents (model + harness), runnable artifacts side by side.

Benchmarking headless browsers as agent runtimes

RigMark benchmarks local AI the way coding agents actually use it.

EC2-Bench (EC²-Bench): benchmark for edge-cloud collaboration in long-horizon LLM agents — task performance, resource usage & privacy exposu

AgenticVBench: Can AI Agents Complete Real-World Post-Production Tasks?

Local LLM cost-tracking proxy for OpenAI, Anthropic, Gemini, and pinned OpenRouter calls with token usage, failure, and billing-integrity re

Benchmark self-evolving Agent upon realistic large-scale file workspaces

Open benchmark on observability tasks built on Harbor

LLM benchmark and leaderboard for narrator-bias sycophancy, opposite-narrator contradictions, and judgment consistency.

📊 Automated hourly benchmarks for 20+ NVIDIA NIM models — interactive dashboard, zero infra, self-hostable. Open-source & community-driven.