Havuz

iFixAi, AI agent’ları yapılandırılabilir testler ve model judge’larıyla denetleyip puan kartı ve raporlar üreten bir Python aracıdır.

Neden yükseliyor · 153 günlük bir depoda 15.702 yıldız ve son 28 günde 9 commit ile 5 farklı yazar görünmesi güçlü ilgiye ve devam eden katkıya işaret ediyor. README’de birden fazla kullanım yolu ve agent ekosistemi entegrasyonları öne çıkarılıyor; ancak yıldızlar ürün kalitesini veya değerlendirmelerin doğruluğunu kanıtlamaz.

Scope | Agentic Experience evaluation platform (Research preview)

MathmoBench, kombinatoryal matematik sorularında modelleri makineyle doğrulanabilir çözüm ve imkânsızlık kanıtları üzerinden değerlendiren bir benchmark ve doğrulama aracıdır.

Neden yükseliyor · AI evaluation odağı ve sertifika tabanlı, deterministik puanlama yaklaşımı dikkat çekebilir. Dört günlük repo için 85 yıldız erken ilgi gösteriyor; ancak 2 commit ve 1 farklı yazar, benimseme veya sürdürülebilirlik kanıtı değil.

EvalForge, AI evaluation sonuçlarını baseline karşılaştırmaları ve CI quality gate’leriyle değerlendirip standart rapor formatlarında yayımlar.

Neden yükseliyor · RAG evaluation sonuçlarını CI’da denetlenebilir kanıta ve release gate’lerine bağlama ihtiyacına odaklanıyor; repo 34 günde 211 yıldız almış. Ancak README bağımsız doğrulanmış downstream benimsemenin henüz bulunmadığını belirtiyor ve son 28 günde katkı tek yazardan gelmiş; ilginin gerçek kullanımın kanıtı olduğu söylenemez.

[Public preview] Externally scored agentic ML research benchmark: 60 tasks, real competition ground truth. Open protocol, operated evaluatio

A reproducible local LLM benchmarking platform with versioned datasets, deterministic scoring, and auditable reports.

A benchmark for AI-driven CAD generation and editing

Universal AI Charter: plain-language governance principles and a public certification registry for AI models, built on disclosure instead of

AgentVitals Checkup (/checkup) — an AI agent skill that gives your agent a professional health checkup: dual-axis Stability + Welfare scorin

[Public preview] Hard human-written reasoning puzzles: 749 answered items in 15 topics (707 scored core), with protocol and scorer.

[Public preview] The first public quant trading benchmark scored against what professional traders actually made on the same asset

Open-source AI model evaluation and benchmarking framework for LLMs (OpenAI, Ollama, Claude, Gemini)

Bring Galileo powered eval workflows into Claude Code and Codex.

Overnight experiment: can an AI agent make money, and can you trust what it reports? The agent produces claims; a separate verifier it canno

Practical LLM evaluation for teams that ship to production. Deterministic + LLM-as-judge evaluators, dataset support, CI/CD integration.

Coding-agent harness for continuous contribution — discovers, implements & validates your next high-fit change as a review-ready draft PR yo

A preservation-aware benchmark for natural-language SVG repair with deterministic binary rewards and complete model traces.

Evidence profiles for AI-generated RTL that expose what functional benchmarks miss. Seeking collaborators, design partners, and validation

甲作 Atelier：手机端 AI 美甲推荐与虚拟试戴；仓库公开其中的轻量评测工作台。

A platform for running human-centered red teaming evaluations on AI models and systems.

开源 AI 应用评测平台，支持 RAG、AI Agent、多轮对话、LLM-as-Judge、接口评测、评测报告和人工盲测。Open-source AI evaluation platform for RAG, AI Agents, multi-turn conversation

Local-first evaluation framework for RAG systems and AI Agents. 18+ metrics, CLI + SDK, framework-agnostic. The pytest of AI evaluation.