Havuz

:sunrise: A comprehensive, cutting-edge open-source framework for next-generation Transformers/LLM, with compute-matched benchmarking and a

DecisionPivot: a diagnostic benchmark for decision models in LLM systems. Contrast pairs that differ in one decisive detail, generators with

Official Code for the paper "Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents "

Aixio Layer v2 recovers editable layers from flat designs where possible. 150-design benchmark vs Canva Magic Layers, Qwen-Image-Layer and G

The online judge for the LLM era. Every case is a real customer delivery: you work it with a coding agent, and your system is judged once it

Benchmarking Coding Agents for Interactive World Modeling from Embodied Videos - Rethinking Embodied Real2Sim from a Software Engineering Pe

AI API 中转站评测排行与切换工具：实测可用率、延迟与价格 · Open-source AI API relay benchmark, rankings & switcher for Claude Code / Codex

SWE-sweep, agent'ların büyük kod tabanlarındaki konumu ve türü önceden belirtilmeyen birden fazla bug'ı bulup düzeltebilmesini ölçen bir benchmark'tır.

Neden yükseliyor · 1 günlük, 33 yıldızlı yeni bir Facebook Research benchmark'ı olması ve LLM agent değerlendirmesine yönelik güncel bir soruyu ele alması dikkat çekebilir. Ancak yükselişin kesin nedeni bilinmiyor; son 28 günlük commit ve farklı yazar verisi ölçülmemiş.

Benchmark local LLM serving by replaying real agent trajectories

HAEnv — synthetic longitudinal patients with code-derived gold, for evaluating health agents over time

[Public preview] Externally scored agentic ML research benchmark: 60 tasks, real competition ground truth. Open protocol, operated evaluatio

Glyd, model ağırlıklarını ve KV cache'i bit düzeyinde kayıpsız biçimde sıkıştırıp GPU'da kullanmayı hedefleyen bir compression yazılımıdır.

Neden yükseliyor · README, yaygın bir maliyet sorununa doğrudan yanıt verdiğini ve 32B ile 72B modellerde daha az GPU ile çalışmaya dair ölçümler sunuyor; ancak 9 günlük repoda 170 yıldız ve 474 commit'in yalnızca 2 farklı yazardan gelmesi, ilginin ve geliştirme temposunun geniş bir katkıcı tabanına dayandığını göstermiyor. Yükselişin kesin kaynağı veya bağımsız benimsenme verisi bilinmiyor.

The first exam for code agents in the physical world: frozen robot tasks from many benchmark suites, each answered with a program and verifi

AI Model World, yüzlerce AI modelini fiyat, yetenek, benchmark ve yayın tarihi verileriyle karşılaştıran piksel-art görselli bir web sitesidir.

Neden yükseliyor · Güncel model karşılaştırması ve görsel sunum, hızla değişen AI ekosisteminde ilgi çekici bir kullanım sunuyor. 11 günde 191 yıldız ve son 28 günde 56 commit dikkat çekici bir başlangıç; ancak iki farklı yazar bulunması ve kısa geçmiş, benimsemenin kapsamı ya da sürdürülebilirliği hakkında henüz güçlü kanıt oluşturmuyor.

LLM gateway comparison: self-hosted and managed AI API gateways compared on protocol compatibility, billing units, timeout and retry semanti

LynnReal-Omni, video üretimi, kontrolü, düzenlemesi ve onarımı için farklı görevleri tek bir multimodal diffusion modelinde birleştiren erken beta bir framework’tür.

Neden yükseliyor · 14 günlük yaşına karşılık 230 yıldız, son 28 günde 75 commit ve 5 farklı yazar kayda değer erken ilgi ve geliştirme faaliyetine işaret ediyor. Çok sayıda video görevini tek modelde birleştirme ve üç/dört adımlı generation iddiaları dikkat çekici; ancak README projenin erken beta olduğunu belirtiyor ve bu performans iddiaları burada bağımsız olarak doğrulanmış değil.

Your coding agent paints pixel art in the Aseprite window you already have open. MCP server + skills for Claude Code, omp, Codex, Gemini CLI

A clinical decision-evidence benchmark: pull the one fact an answer rests on, and see whether the assistant's action moves with the evidence

LoopArena, uzun süreli yazılım görevlerinde bir coding agent’ı yönlendiren modelleri ortak koşullarda karşılaştırmak için benchmark ve çalıştırma altyapısı sunuyor.

Neden yükseliyor · Coding agents’ın uzun süreli iş akışlarında nasıl yönlendirileceği güncel bir araştırma konusu; LoopArena bu konuya açık protokol, benchmark sonuçları ve bir arXiv paper ile dikkat çekiyor. Ancak 146 yıldız, 28 günlük repo yaşı ve son 28 günde tek farklı yazar, ilginin henüz yaygın benimsemeye dönüştüğünü göstermiyor.

Feel how fast a local LLM runs before you buy the hardware

A unified framework for training, fine-tuning, and evaluating World Action Models

RSI-Exam: Measuring Recursive Self-Improvement on Long-Horizon, Executable Research Tasks · Discord https://discord.gg/FBzhepyE

Bug Hunt Bench: 105 real bugs in two production repos, frontier coding models (GPT-6, Claude, Grok, Gemini, DeepSeek...) find and fix them i

Code-only runtime toolkit for cost-aware multi-agent organization and control

EvoTrace, Claude Code ve Codex oturumlarını inceleyip eğitim, değerlendirme ve doğrulama için yeniden kullanılabilir varlıklara dönüştürür.

Neden yükseliyor · 39 günde 292 yıldız, coding agent oturumlarından eğitim ve değerlendirme varlığı üretme fikrine ilgi olduğunu gösteriyor; ancak bu ilginin nedeni ölçümlerden anlaşılamıyor. Son 28 günde commit ve farklı yazar olmaması, ilginin devam eden geliştirme veya benimsemeyle desteklendiğine dair kanıt sunmuyor.

agy-staff, Claude Code, OpenAI Codex ve Pi kullanıcılarının Google Antigravity CLI üzerinden Gemini tabanlı bir agent’ı farklı görevler için çağırmasını sağlayan bir plugin’dir.

Neden yükseliyor · Farklı coding-agent harness’leri üzerinden agy’ye görev devretme fikri dikkat çekici; 40 günlük yaşına karşılık 652 yıldız ve son 28 günde 14 commit ile 3 farklı yazar görünür bir ilgi ve geliştirme faaliyetine işaret ediyor. Bu veriler kullanım veya kalite kanıtı değildir.

HarnessEval-W: Agentifying the Evaluation of Visual Worlds

J-Space Cognition Suite, AI agent görevlerinde akıl yürütme, çok aşamalı iş takibi ve doğrulamayı yönlendirmek için Skill biçiminde paketlenmiş bir inference-time kontrol yaklaşımıdır.

Neden yükseliyor · 42 günde 1026 yıldız alması ve GLM-5.3-Flash × J-Space capability sunumuyla ilişkilendirilmesi dikkat çekiyor. Son 28 günde 18 commit görünse de bunların tek yazardan gelmesi, bağımsız katkı veya benimseme kanıtını sınırlıyor; mevcut bilgiler yükselişin nedenini ya da iddia edilen kabiliyetleri doğrulamıyor.

Real-event-anchored benchmark for detecting AI-generated videos in real-world crisis settings.

SkillCorpus, dağınık SKILL.md dosyalarını agent'lar için seçilmiş, aranabilir skill corpus'larına dönüştüren ve retrieval ile evaluation araçları sunan açık kaynak bir altyapıdır.

Neden yükseliyor · Agent'lar için paylaşılan ve göreve göre seçilen skill katmanına ilgi var; repo kısa sürede 667 yıldıza ulaşmış ve son 28 günde 9 commit ile 3 farklı yazar katkı vermiş. README ayrıca birden fazla benchmark'ta iyileşme bildiriyor; bu sonuçları bağımsız olarak doğrulayamıyorum.

SelfStarter, bir coding agent’a görev brief’i verip işi insan yönlendirmesi olmadan birden çok oturum boyunca yürütmesi için tasarlanmış erken aşama bir harness’tir.

Neden yükseliyor · 58 günlük bir repoda 387 yıldız, uzun süre kendi işini yürüten agent’lara yönelik ilgiyle uyumlu. README’deki Agent City örneği de fikri somutlaştırıyor. Ancak son 28 gündeki 1 commit ve 1 farklı yazar, güncel geliştirme temposu veya geniş katkı tabanı için güçlü kanıt sunmuyor.

MerchantBench is a 365-day, order-level benchmark for evaluating the long-term coherence of LLM agents in seller-side e-commerce operations.

An esoteric programming language built to break LLMs and coding agents.

Track 42,331+ AI benchmark, eval, dataset, and data-quality records from 40 public sources, with linked evidence and daily updates.

Evidence-first infrastructure for reproducible, isolated executable evaluation and online rewards.

Speedrunning LoRA fine-tuning: frozen task, frozen hardware, public wall-clock leaderboard. modded-nanogpt for fine-tuning.

A counterfactual battery for instruction following in vision-language-action policies: change one word of the instruction, hold the scene, a

aws-bench measures how well AI agents and model combinations perform on real AWS work — diagnosing misconfigurations, provisioning infrastru

Unified World Model Inference & Evaluation Infrastructure

Official repository for RoboDojo

Local LLM cost-tracking proxy for OpenAI, Anthropic, Gemini, and pinned OpenRouter calls with token usage, failure, and billing-integrity re

Ultra-Fast Python Solutions: 110x Speed Optimization Guide 2026

Open source evals for physical AI. Run any LLM/VLA on any arm/humanoid against any real/sim benchmark.

Multi-tier framework for evaluating AI agent skills with quality gates, semantic overlap detection, synthetic evaluation dataset generation,

Same model, different wrapper: a from-scratch benchmark comparing coding-agent harnesses (codex, pi, opencode, cursor, devin) and open model

Anti-slop skills for AI agents: slopbeth cleans the shipped writing, slopgent cleans the conversation.

The marketplace for verifiable AI outcomes: state a task, get a fixed price upfront, and Primitive Bench routes across tools to complete it,

GateMem: a benchmark and evaluation toolkit for memory governance in multi-principal shared-memory LLM agents.

Alignment-research scaffold (autoresearch-style) for LLM guardrails: search over a single policy.md surface

glTF 2.0 versions of common graphics research scenes