Simreal-AI/MathmoBench
[Public preview] An advanced AI Benchmark for math, produced by mathmo at St John's College, Cambridge.
Hızlı değerlendirme
Özet
MathmoBench, kombinatoryal matematik sorularında modelleri makineyle doğrulanabilir çözüm ve imkânsızlık kanıtları üzerinden değerlendiren bir benchmark ve doğrulama aracıdır.
Profiline uyum
AI model değerlendirmesi alanıyla ilgili olsa da kombinatoryal matematik benchmark’ı profilinizdeki ürün geliştirme ihtiyaçlarına hizmet etmiyor.
Neden yükseliyor
AI evaluation odağı ve sertifika tabanlı, deterministik puanlama yaklaşımı dikkat çekebilir. Dört günlük repo için 85 yıldız erken ilgi gösteriyor; ancak 2 commit ve 1 farklı yazar, benimseme veya sürdürülebilirlik kanıtı değil.
Problem
Matematik benchmarklarında yalnızca doğru cevabı değil, modelin çözümünü veya imkânsızlık iddiasını da güvenilir ve tekrarlanabilir biçimde değerlendirme ihtiyacını hedefliyor.
Çözüm
Yakın değişikliklerle çözülebilirliği değişen soru aileleri kullanıyor; Python tabanlı deterministik validator'lar, sunulan cevapları ve sertifikaları kontrol ediyor. Puanlama LLM judge kullanmıyor.
Yenilik
Komşu problem örneklerinde küçük kısıt değişiklikleriyle çözülebilirliğin tersine dönmesini ve makinece doğrulanabilir kanıtları birlikte değerlendirmesi ayırt edici. Kullanılan matematiksel sertifikalar ve problem türleri tek başına yeni değil; yaklaşımın mevcut açık sürümde ne kadar güçlü sonuç verdiği henüz gösterilmiyor.
Teknolojiler
- Python 3.11+
- JSONL
- Apache-2.0
Riskler
- Public preview erken aşamada ve README'ye göre değişebilir.
- Gizli track'lerin soru, seed ve referans cevapları depoda yok; bağımsız inceleme açık içerikle sınırlı.
- 10 public_dev ailesi yalnızca smoke test ve format hata ayıklama için; leaderboard performansını ölçmüyor.
- Repo yaşı çok kısa; aktivite 2 commit ve 1 farklı yazarla sınırlı.
- Kapsam kombinatoryal matematikle sınırlı; başka matematik alanlarına veya genel model yeteneklerine doğrudan genellenemez.
Detaylı değerlendirme
Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.