Havuz

:sunrise: A comprehensive, cutting-edge open-source framework for next-generation Transformers, with compute-matched benchmarking and a plat

AI API 中转站评测排行与切换工具：实测可用率、延迟与价格 · Open-source AI API relay benchmark, rankings & switcher for Claude Code / Codex

A clinical decision-evidence benchmark: pull the one fact an answer rests on, and see whether the assistant's action moves with the evidence

Aixio Layer v2 recovers editable layers from flat designs where possible. 150-design benchmark vs Canva Magic Layers, Qwen-Image-Layer and G

Open-source benchmark for browser AI agents on daily tasks.

Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models

HAEnv — synthetic longitudinal patients with code-derived gold, for evaluating health agents over time

Your coding agent paints pixel art in the Aseprite window you already have open. MCP server + skills for Claude Code, omp, Codex, Gemini CLI

Open source evals for physical AI. Run any LLM/VLA on any arm/humanoid against any real/sim benchmark.

[EMNLP 2026] MobileGym: A Verifiable and Highly Parallel Simulation Platform for Mobile GUI Agent Research · 浏览器里运行的安卓模拟器 · Browser-hosted A

Multi-tier framework for evaluating AI agent skills with quality gates, semantic overlap detection, synthetic evaluation dataset generation,

Track 42,331+ AI benchmark, eval, dataset, and data-quality records from 40 public sources, with linked evidence and daily updates.

LynnReal-Omni, video üretimi, kontrolü, düzenlemesi ve onarımı için farklı görevleri tek bir multimodal diffusion modelinde birleştiren erken beta bir framework’tür.

Neden yükseliyor · 14 günlük yaşına karşılık 230 yıldız, son 28 günde 75 commit ve 5 farklı yazar kayda değer erken ilgi ve geliştirme faaliyetine işaret ediyor. Çok sayıda video görevini tek modelde birleştirme ve üç/dört adımlı generation iddiaları dikkat çekici; ancak README projenin erken beta olduğunu belirtiyor ve bu performans iddiaları burada bağımsız olarak doğrulanmış değil.

agy-staff, Claude Code, OpenAI Codex ve Pi kullanıcılarının Google Antigravity CLI üzerinden Gemini tabanlı bir agent’ı farklı görevler için çağırmasını sağlayan bir plugin’dir.

Neden yükseliyor · Farklı coding-agent harness’leri üzerinden agy’ye görev devretme fikri dikkat çekici; 40 günlük yaşına karşılık 652 yıldız ve son 28 günde 14 commit ile 3 farklı yazar görünür bir ilgi ve geliştirme faaliyetine işaret ediyor. Bu veriler kullanım veya kalite kanıtı değildir.

A harness optimized to smaller LLMs

Official repository for RoboDojo

The first exam for code agents in the physical world: frozen robot tasks from many benchmark suites, each answered with a program and verifi

Agent Memory Benchmark

Offline cyber security agent for your apps and AI coding tools. Open R&D: measured in public, improved every release.

Reproducible speech-to-text benchmark: WER, latency and cost for Velma, Deepgram, AssemblyAI, Chirp 3, MAI-Transcribe 2, Moonshine and whisp

Physical-Engineering’s Last Exam

dsh-model-master（模型选择大师）— model selector for DeepSeek Harness: search across providers, probe any model with a real streaming request to mea

Benchmarks for pdf redaction tools

EvoTrace, Claude Code ve Codex oturumlarını inceleyip eğitim, değerlendirme ve doğrulama için yeniden kullanılabilir varlıklara dönüştürür.

Neden yükseliyor · 39 günde 292 yıldız, coding agent oturumlarından eğitim ve değerlendirme varlığı üretme fikrine ilgi olduğunu gösteriyor; ancak bu ilginin nedeni ölçümlerden anlaşılamıyor. Son 28 günde commit ve farklı yazar olmaması, ilginin devam eden geliştirme veya benimsemeyle desteklendiğine dair kanıt sunmuyor.

J-Space Cognition Suite, AI agent görevlerinde akıl yürütme, çok aşamalı iş takibi ve doğrulamayı yönlendirmek için Skill biçiminde paketlenmiş bir inference-time kontrol yaklaşımıdır.

Neden yükseliyor · 42 günde 1026 yıldız alması ve GLM-5.3-Flash × J-Space capability sunumuyla ilişkilendirilmesi dikkat çekiyor. Son 28 günde 18 commit görünse de bunların tek yazardan gelmesi, bağımsız katkı veya benimseme kanıtını sınırlıyor; mevcut bilgiler yükselişin nedenini ya da iddia edilen kabiliyetleri doğrulamıyor.

Entrpi/ds4, a Blackwell CUDA perf fork of antirez/ds4 on NVIDIA DGX Spark: one-command install, ~3x upstream prefill, ~1.5x decode, DSpark,

Evidence-backed AMD Strix Halo local-AI setup and benchmarks: Qwen3.8, Ollama, llama.cpp, Vulkan/ROCm, large GGUFs, and cross-OEM results.

🦞 ResearchClawBench: Evaluating AI Agents for Automated Research from Re-Discovery to New-Discovery

Рейтинг VPS-хостингов по тестам сообщества: что взять под ноду, мост или бота

Practical local LLM recipes and benchmarks for RTX 5060 Ti setups

Feel how fast a local LLM runs before you buy the hardware

Speedrunning LoRA fine-tuning: frozen task, frozen hardware, public wall-clock leaderboard. modded-nanogpt for fine-tuning.

[NeurIPS 2026] SpatialBench: Is Your Spatial Foundation Model an All-Round Player?

Benchmark local LLM serving by replaying real agent trajectories

A Benchmark for Evaluating Agent Self-Evolution on Real Business Tasks

Anti-slop skills for AI agents: slopbeth cleans the shipped writing, slopgent cleans the conversation.

Benchmark AI Agents on Enterprise Workflows

ReviewBench is an open, reproducible benchmark for evaluating AI code review systems on real-world pull requests.

[NeurIPS 2026] MedMemoryBench: Benchmarking Agent Memory in Personalized Healthcare.

Benchmark self-evolving Agent upon realistic large-scale file workspaces

A composable framework for reproducible evaluation of long-running agents.

Measurement harness for proxy providers, browser engines and scraping targets. Every claim carries the run it came from.

Открытый бенчмарк LLM: какая нейросеть лучше пишет код 1С:Предприятие (BSL). Объективная оценка LLM по методике SMOP с реальным исполнением

TerminalWorld: Benchmarking Agents on Real-World Terminal Tasks (NeurIPS 2026 Evaluations and Datasets Track)

PureDocBench: source-traceable benchmark for document parsing across clean, degraded, and real-world settings

Create your own benchmark for coding AI Agents

P104-100 (GP104) PCIe Gen2 x4 unlock tool for Windows. Gen1 x4 -> Gen2 x4: 0.78 -> 1.55 GB/s measured.

The Humanness Index: the open benchmark for how human voice AI sounds, built by Vapi. Blind same-voice battles, pure-vote Elo, with a real-h

Reproduction package for "Harness as a Language: A Minimalist Agent Framework With Maximal Expressivity" — ten agent arms across AppWorld an

This dataset provides metadata, official statistics, and official play-by-play annotations for full-length NBA game videos available on YouT