Havuz

Reproduce Lium's LocalMaxxing leaderboard runs (7 boards, 20 Verified) on a rented Lium GPU in one script — vLLM/llama.cpp recipes, measured

deedchain, browser agent raporlarındaki iddiaları kaydedilmiş ground truth ile karşılaştırarak rapor doğruluğunu ölçen bir benchmark ve Python kütüphanesidir.

Neden yükseliyor · Repo yalnızca 23 günlük ve 28 yıldızlı; son 28 gün commit ve farklı yazar verisi ölçülmediği için yükselişin arkasındaki aktivite veya benimsenme düzeyi doğrulanamıyor. Rapor doğruluğunu ayrı bir değerlendirme konusu yapması dikkat çekici olsa da README'deki “first benchmark” iddiası bağımsız olarak doğrulanmış değil.

Give Vercel AI SDK agents a real persistent filesystem with Amazon S3 Files.

PromptLedger, prompt şablonlarını fingerprint ile sürümleyip aday yanıtları karşılaştıran ve sonuçları tekrarlanabilir raporlara dönüştüren bir Python aracı ile Go CLI sunuyor.

Neden yükseliyor · 25 günlük bir repo için 35 yıldız dikkat çekiyor; ancak son 28 günde yalnızca 1 commit ve 1 farklı yazar var. Bu nedenle ilginin kalıcı benimsemeye dönüştüğünü gösteren yeterli aktivite kanıtı henüz yok.

Does your AI hydrologic model conserve mass, energy and momentum?

LoopArena, uzun süreli yazılım görevlerinde bir coding agent’ı yönlendiren modelleri ortak koşullarda karşılaştırmak için benchmark ve çalıştırma altyapısı sunuyor.

Neden yükseliyor · Coding agents’ın uzun süreli iş akışlarında nasıl yönlendirileceği güncel bir araştırma konusu; LoopArena bu konuya açık protokol, benchmark sonuçları ve bir arXiv paper ile dikkat çekiyor. Ancak 146 yıldız, 28 günlük repo yaşı ve son 28 günde tek farklı yazar, ilginin henüz yaygın benimsemeye dönüştüğünü göstermiyor.

A unified framework for training, fine-tuning, and evaluating World Action Models

RSI-Exam: Measuring Recursive Self-Improvement on Long-Horizon, Executable Research Tasks · Discord https://discord.gg/FBzhepyE

Bug Hunt Bench: 105 real bugs in two production repos, frontier coding models (GPT-6, Claude, Grok, Gemini, DeepSeek...) find and fix them i

Aim Genetics Lab: CRISPR Gene Editing & Bioinformatics Tools 2026

NEEDLE. A live search and retrieval benchmark from Keenable.ai

Code-only runtime toolkit for cost-aware multi-agent organization and control

EvoTrace, Claude Code ve Codex oturumlarını inceleyip eğitim, değerlendirme ve doğrulama için yeniden kullanılabilir varlıklara dönüştürür.

Neden yükseliyor · 39 günde 292 yıldız, coding agent oturumlarından eğitim ve değerlendirme varlığı üretme fikrine ilgi olduğunu gösteriyor; ancak bu ilginin nedeni ölçümlerden anlaşılamıyor. Son 28 günde commit ve farklı yazar olmaması, ilginin devam eden geliştirme veya benimsemeyle desteklendiğine dair kanıt sunmuyor.

Agents can work. They cannot declare success. A governed coordination protocol for multi-agent AI work: eight contracts (task, resource, own

An agent skill that plays ARC-AGI-3. One rule: say what an action will do before you spend it. Claude Code on Opus 5 finished all 25 public

agy-staff, Claude Code, OpenAI Codex ve Pi kullanıcılarının Google Antigravity CLI üzerinden Gemini tabanlı bir agent’ı farklı görevler için çağırmasını sağlayan bir plugin’dir.

Neden yükseliyor · Farklı coding-agent harness’leri üzerinden agy’ye görev devretme fikri dikkat çekici; 40 günlük yaşına karşılık 652 yıldız ve son 28 günde 14 commit ile 3 farklı yazar görünür bir ilgi ve geliştirme faaliyetine işaret ediyor. Bu veriler kullanım veya kalite kanıtı değildir.

HarnessEval-W: Agentifying the Evaluation of Visual Worlds

Design-fidelity QA for DeepSeek Harness: lend any text-only model an eye, then judge whether the implementation matches the mock. Ships the

J-Space Cognition Suite, AI agent görevlerinde akıl yürütme, çok aşamalı iş takibi ve doğrulamayı yönlendirmek için Skill biçiminde paketlenmiş bir inference-time kontrol yaklaşımıdır.

Neden yükseliyor · 42 günde 1026 yıldız alması ve GLM-5.3-Flash × J-Space capability sunumuyla ilişkilendirilmesi dikkat çekiyor. Son 28 günde 18 commit görünse de bunların tek yazardan gelmesi, bağımsız katkı veya benimseme kanıtını sınırlıyor; mevcut bilgiler yükselişin nedenini ya da iddia edilen kabiliyetleri doğrulamıyor.

Serving Qwen3.8-27B-FP8 on a single DGX Spark (GB10): 7.88 to 58.5 tok/s single-stream from decode strategy alone, weights untouched. Specul

Serving 4-bit Qwen3.8-27B on a single DGX Spark (GB10): 75 tok/s single-stream, 246 tok/s aggregate at 8-way concurrency. NVFP4 vs MixedInt4

A benchmark for testing whether coding agents can resolve engineering tasks in scientific software

Real-event-anchored benchmark for detecting AI-generated videos in real-world crisis settings.

SkillCorpus, dağınık SKILL.md dosyalarını agent'lar için seçilmiş, aranabilir skill corpus'larına dönüştüren ve retrieval ile evaluation araçları sunan açık kaynak bir altyapıdır.

Neden yükseliyor · Agent'lar için paylaşılan ve göreve göre seçilen skill katmanına ilgi var; repo kısa sürede 667 yıldıza ulaşmış ve son 28 günde 9 commit ile 3 farklı yazar katkı vermiş. README ayrıca birden fazla benchmark'ta iyileşme bildiriyor; bu sonuçları bağımsız olarak doğrulayamıyorum.

A Kubernetes lab that reproduces real production incidents on a live, instrumented microservice stack — for testing root-cause-analysis tool

Benchmark your local LLMs: speed, memory, and quality, in one command. TUI leaderboard for Ollama, LM Studio, llama.cpp, and vLLM.

Reproducible benchmark for sanctions name-screening effectiveness. Measures recall across 18 documented classes of name variation — translit

A composable framework for reproducible evaluation of long-running agents.

SelfStarter, bir coding agent’a görev brief’i verip işi insan yönlendirmesi olmadan birden çok oturum boyunca yürütmesi için tasarlanmış erken aşama bir harness’tir.

Neden yükseliyor · 58 günlük bir repoda 387 yıldız, uzun süre kendi işini yürüten agent’lara yönelik ilgiyle uyumlu. README’deki Agent City örneği de fikri somutlaştırıyor. Ancak son 28 gündeki 1 commit ve 1 farklı yazar, güncel geliştirme temposu veya geniş katkı tabanı için güçlü kanıt sunmuyor.

MerchantBench is a 365-day, order-level benchmark for evaluating the long-term coherence of LLM agents in seller-side e-commerce operations.

Track 42,331+ AI benchmark, eval, dataset, and data-quality records from 40 public sources, with linked evidence and daily updates.

多智能体小说写作框架 | Multi-agent novel-writing framework — 每个角色都有自己的脑子,每一章都有质量门禁

Evidence-first infrastructure for reproducible, isolated executable evaluation and online rewards.

Run a 110B on a 2016 PC with 16 GB RAM. Know your tok/s before you download. Placement beats budget: predicts speed + memory fit for any GGU

An auditable and reproducible evaluation suite for LeWM-compatible latent world models, with official-compatible and difficulty-controlled p

Benchmarking data agents for verifiable analytics over heterogeneous workspaces.

Can my GPU run this? Pick a GPU to get 3 fitting AI models, quantization, VRAM, speed ranges, and run commands. 한국어·English.

Speedrunning LoRA fine-tuning: frozen task, frozen hardware, public wall-clock leaderboard. modded-nanogpt for fine-tuning.

A counterfactual battery for instruction following in vision-language-action policies: change one word of the instruction, hold the scene, a

How many simultaneous 4K transcodes can your GPU sustain? Multi-vendor (Intel/AMD/NVIDIA/CPU) benchmark for Unraid with HDR tone-mapping, su

aws-bench measures how well AI agents and model combinations perform on real AWS work — diagnosing misconfigurations, provisioning infrastru

HoloGeo: Evidence-driven VLM for robust image geo-localization and landmark-bias mitigation.

Scenarios and tasks for evaluating AI agents on real-world AWS automation tasks. Use the aws-bench framework (https://github.com/aws-bench/a

Continuous benchmarks for multi-device CoW filesystems (btrfs, ZFS, bcachefs): snapshots, aging, compression, redundancy layouts

[ACM MM 2026] Official implementation of Self in Space: Benchmarking Self-Awareness and Spatial Cognition in UAV Embodied Intelligence

NEXBENCH measures what an autonomous agent can actually do on-chain — execute transactions, route swaps, bridge funds, manage DeFi positions

Move whole tables between databases fast — Postgres, MySQL, ClickHouse, BigQuery. Rust engine, one-line Python API, bounded memory.

PatientAgentBench: A Benchmark Framework for Evaluating Patient-Facing Health AI Agents

Unified World Model Inference & Evaluation Infrastructure

[ECCV 2026] AerialMetric: Benchmarking and Adapting UAV Monocular Metric Depth Estimation in the Real World