Havuz

DiagSafe: diagnostic LLM safety benchmark with prompt-level rubrics (3,489 bilingual prompts, 84-label taxonomy)

Swap one RAG pipeline stage, hold the rest fixed, and measure whether the gain survives composition. The framework behind "Retrieval Augment

HistorianRCA: a root cause analysis benchmark. 90 days of simulated plant historian data from a steam-heated hold tank, with hidden faults t

Blinded battles between coding agents: two agents, one prompt, you pick the winner. Desktop app, runs locally.

Qwen3.8-27B on RTX 5090 Laptop 24GB — TWIN-TURBO NVFP4 (native llama.cpp) vs Coder390 Q3 LynnStyle (.ninfer + NInfer engine in WSL2/Docker):

Caveman prompting, measured. A two-channel evaluation framework for prompt compression and LLM token efficiency: what input vs output compre

Use many on device and cloud models with Apple's Foundation Models framework in iOS and macOS with a full chat experience.

Manipulation benchmarks test acting to change; EmbodiedLab tests acting to know. Given only an objective and the apparatus, a robot runs its

SciPIvot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents

Ten frontier VLM agents, five robotic capabilities, 1,000 cases. GeoProbe and traceable analyses of geometry, spatial reasoning, affordance,

Did your change make your LLM server faster? Measure it: faster, slower, or too close to call. Linux and Apple Silicon.

Reproducible benchmark that compares VictoriaLogs, Loki, Elasticsearch, OpenSearch, SigNoz and ClickStack

ADR, AI agent’ları keşfetmek, etkinliklerini gözlemlemek ve riskli davranışları tespit etmek için araçlar ile benchmark’lar sunan açık kaynaklı bir güvenlik sistemidir.

Neden yükseliyor · AI agent güvenliği güncel ve kurumsal ölçekte büyüyen bir ihtiyaç; Uber’in projeyi açık kaynak olarak yayımlaması, README’de üretimde kullanıldığını ve MLSys 2026’da kabul edilen bir makaleyle desteklendiğini belirtmesi ilgiyi artırıyor. 167 günde 1.620 yıldızın yanı sıra son 28 gündeki 44 commit ve 15 farklı yazar, kayda değer proje etkinliğine işaret ediyor; ancak yıldız geçmişi olmadan yükseliş hızını doğrulamak mümkün değil.

SkillCorpus, dağınık SKILL.md dosyalarını agent'lar için seçilmiş, aranabilir skill corpus'larına dönüştüren ve retrieval ile evaluation araçları sunan açık kaynak bir altyapıdır.

Neden yükseliyor · Agent'lar için paylaşılan ve göreve göre seçilen skill katmanına ilgi var; repo kısa sürede 667 yıldıza ulaşmış ve son 28 günde 9 commit ile 3 farklı yazar katkı vermiş. README ayrıca birden fazla benchmark'ta iyileşme bildiriyor; bu sonuçları bağımsız olarak doğrulayamıyorum.

Glyd, model ağırlıklarını ve KV cache'i bit düzeyinde kayıpsız biçimde sıkıştırıp GPU'da kullanmayı hedefleyen bir compression yazılımıdır.

Neden yükseliyor · README, yaygın bir maliyet sorununa doğrudan yanıt verdiğini ve 32B ile 72B modellerde daha az GPU ile çalışmaya dair ölçümler sunuyor; ancak 9 günlük repoda 170 yıldız ve 474 commit'in yalnızca 2 farklı yazardan gelmesi, ilginin ve geliştirme temposunun geniş bir katkıcı tabanına dayandığını göstermiyor. Yükselişin kesin kaynağı veya bağımsız benimsenme verisi bilinmiyor.

LoopArena, uzun süreli yazılım görevlerinde bir coding agent’ı yönlendiren modelleri ortak koşullarda karşılaştırmak için benchmark ve çalıştırma altyapısı sunuyor.

Neden yükseliyor · Coding agents’ın uzun süreli iş akışlarında nasıl yönlendirileceği güncel bir araştırma konusu; LoopArena bu konuya açık protokol, benchmark sonuçları ve bir arXiv paper ile dikkat çekiyor. Ancak 146 yıldız, 28 günlük repo yaşı ve son 28 günde tek farklı yazar, ilginin henüz yaygın benimsemeye dönüştüğünü göstermiyor.

SWE-sweep, agent'ların büyük kod tabanlarındaki konumu ve türü önceden belirtilmeyen birden fazla bug'ı bulup düzeltebilmesini ölçen bir benchmark'tır.

Neden yükseliyor · 1 günlük, 33 yıldızlı yeni bir Facebook Research benchmark'ı olması ve LLM agent değerlendirmesine yönelik güncel bir soruyu ele alması dikkat çekebilir. Ancak yükselişin kesin nedeni bilinmiyor; son 28 günlük commit ve farklı yazar verisi ölçülmemiş.

AI Model World, yüzlerce AI modelini fiyat, yetenek, benchmark ve yayın tarihi verileriyle karşılaştıran piksel-art görselli bir web sitesidir.

Neden yükseliyor · Güncel model karşılaştırması ve görsel sunum, hızla değişen AI ekosisteminde ilgi çekici bir kullanım sunuyor. 11 günde 191 yıldız ve son 28 günde 56 commit dikkat çekici bir başlangıç; ancak iki farklı yazar bulunması ve kısa geçmiş, benimsemenin kapsamı ya da sürdürülebilirliği hakkında henüz güçlü kanıt oluşturmuyor.

MathmoBench, kombinatoryal matematik sorularında modelleri makineyle doğrulanabilir çözüm ve imkânsızlık kanıtları üzerinden değerlendiren bir benchmark ve doğrulama aracıdır.

Neden yükseliyor · AI evaluation odağı ve sertifika tabanlı, deterministik puanlama yaklaşımı dikkat çekebilir. Dört günlük repo için 85 yıldız erken ilgi gösteriyor; ancak 2 commit ve 1 farklı yazar, benimseme veya sürdürülebilirlik kanıtı değil.

Agent Smith, Codex görevleri için yerel model yönlendirmesi, macOS kullanım izleme arayüzü ve tekrarlanabilir benchmark araçları sunuyor.

Neden yükseliyor · Altı günde 194 yıldız alması dikkat çekici; yerel model routing, görünür kullanım takibi ve benchmark sonuçlarını tek projede birleştirmesi ilgi çekmiş olabilir. Ancak bu erken ilgi benimseme kanıtı değil: son 28 günde 5 commit ve 1 farklı yazar var.

deedchain, browser agent raporlarındaki iddiaları kaydedilmiş ground truth ile karşılaştırarak rapor doğruluğunu ölçen bir benchmark ve Python kütüphanesidir.

Neden yükseliyor · Repo yalnızca 23 günlük ve 28 yıldızlı; son 28 gün commit ve farklı yazar verisi ölçülmediği için yükselişin arkasındaki aktivite veya benimsenme düzeyi doğrulanamıyor. Rapor doğruluğunu ayrı bir değerlendirme konusu yapması dikkat çekici olsa da README'deki “first benchmark” iddiası bağımsız olarak doğrulanmış değil.

SelfStarter, bir coding agent’a görev brief’i verip işi insan yönlendirmesi olmadan birden çok oturum boyunca yürütmesi için tasarlanmış erken aşama bir harness’tir.

Neden yükseliyor · 58 günlük bir repoda 387 yıldız, uzun süre kendi işini yürüten agent’lara yönelik ilgiyle uyumlu. README’deki Agent City örneği de fikri somutlaştırıyor. Ancak son 28 gündeki 1 commit ve 1 farklı yazar, güncel geliştirme temposu veya geniş katkı tabanı için güçlü kanıt sunmuyor.

PromptLedger, prompt şablonlarını fingerprint ile sürümleyip aday yanıtları karşılaştıran ve sonuçları tekrarlanabilir raporlara dönüştüren bir Python aracı ile Go CLI sunuyor.

Neden yükseliyor · 25 günlük bir repo için 35 yıldız dikkat çekiyor; ancak son 28 günde yalnızca 1 commit ve 1 farklı yazar var. Bu nedenle ilginin kalıcı benimsemeye dönüştüğünü gösteren yeterli aktivite kanıtı henüz yok.

Open memory & reliability layer for AI agents + independent judging/verification (NACRE judge, caliber-bench meta-benchmark, preregistered c

ParseBench - A Document Parsing Benchmark for AI Agents

Open-source CLI, API, web UI, and reproducible benchmarks for probabilistic AI-generated image detection.

Unified World Model Inference & Evaluation Infrastructure

HarnessEval-W: Agentifying the Evaluation of Visual Worlds

Evidence-first infrastructure for reproducible, isolated executable evaluation and online rewards.

Synthetic fraud graph generator for benchmarking graph-based fraud detection models in financial services.

[ICML 2026] Autonomous AI agent for end-to-end spatial proteomics analysis, with SP-Bench for agentic multiplexed-imaging workflows.

[Public preview] Externally scored agentic ML research benchmark: 60 tasks, real competition ground truth. Open protocol, operated evaluatio

GameWorld: Towards Standardized and Verifiable Evaluation of Multimodal Game Agents

Code-only runtime toolkit for cost-aware multi-agent organization and control

RSI-Exam: Measuring Recursive Self-Improvement on Long-Horizon, Executable Research Tasks · Discord https://discord.gg/FBzhepyE

Bug Hunt Bench: 105 real bugs in two production repos, frontier coding models (GPT-6, Claude, Grok, Gemini, DeepSeek...) find and fix them i

An esoteric programming language built to break LLMs and coding agents.

Self-healing DNS optimizer for servers in Iran. Benchmarks 60+ DNS servers, installs a local caching resolver, auto-detects Docker, and runs

MerchantBench is a 365-day, order-level benchmark for evaluating the long-term coherence of LLM agents in seller-side e-commerce operations.

LLM gateway comparison: self-hosted and managed AI API gateways compared on protocol compatibility, billing units, timeout and retry semanti

DecisionPivot: a diagnostic benchmark for decision models in LLM systems. Contrast pairs that differ in one decisive detail, generators with

A benchmark for AI-driven CAD generation and editing

📖 Data Engineering from Raw Corpora

aws-bench measures how well AI agents and model combinations perform on real AWS work — diagnosing misconfigurations, provisioning infrastru

A counterfactual battery for instruction following in vision-language-action policies: change one word of the instruction, hold the scene, a

glTF 2.0 versions of common graphics research scenes

Real-event-anchored benchmark for detecting AI-generated videos in real-world crisis settings.

Same model, different wrapper: a from-scratch benchmark comparing coding-agent harnesses (codex, pi, opencode, cursor, devin) and open model

Alignment-research scaffold (autoresearch-style) for LLM guardrails: search over a single policy.md surface

A benchmark for evaluating LLM × harness performance.