kyegomez/OpenMythos
A theoretical reconstruction of the Claude Mythos architecture, built from first principles using the available research literature.
Hızlı değerlendirme
Özet
OpenMythos, Claude Mythos’un gerçek mimarisini temsil ettiği kanıtlanmayan, araştırma literatürüne dayalı varsayımsal bir Recurrent-Depth Transformer uygulamasıdır.
Profiline uyum
Transformer mimarisi araştırmasına odaklanıyor; profilde model mimarisi geliştirme ihtiyacı belirtilmiyor.
Neden yükseliyor
Claude Mythos’a doğrudan atıf yapan adı ve açıklaması, varsayımsal mimariyi incelemek isteyenlerin ilgisini çekmiş olabilir; 162 günde 14.904 yıldız bu ilgiyi gösteriyor. Bu, benimseme veya teknik doğrulama kanıtı değil: son 28 günde commit ve farklı yazar sayısı sıfır.
Problem
Tekrarlayan derinlik (looped) Transformer yaklaşımını ve değişken hesaplama derinliği fikirlerini deneyebilecek açık bir model iskeleti sunmayı amaçlıyor.
Çözüm
PyTorch ile Prelude Transformer katmanları, tekrar eden bir Recurrent Block ve Coda katmanlarını birleştiriyor; attention için MLA veya GQA, feed-forward için sparse MoE seçeneği sağlıyor. README ayrıca örnek eğitim betiği ve ön tanımlı model yapılandırmaları sunuyor.
Yenilik
Looped Transformer, MoE, MLA ve GQA bilinen yaklaşımlar. Bunların tek bir varsayımsal mimari taslağında bir araya getirilmesi deneysel açıdan kullanışlı olabilir; ancak Claude Mythos’un mimarisini ortaya çıkardığına dair kanıt sunulmuyor.
Teknolojiler
- Python
- PyTorch
- MLA
- GQA
- sparse MoE
- Flash Attention 2
- PyTorch DDP
- FineWeb-Edu
- AdamW
Riskler
- README, uygulamanın kamuya açık araştırma ve spekülasyona dayandığını; Anthropic ile bağlantısı olmadığını açıkça belirtiyor.
- Ön tanımlı büyük model ölçekleri yapılandırma örnekleri; bu boyutlardaki modellerin eğitilebilir veya doğrulanmış olduğu anlamına gelmiyor.
- Mimari iddiaları destekleyen karşılaştırmalı benchmark veya bağımsız doğrulama bilgisi verilen içerikte yok.
- Son 28 gündeki sıfır commit ve farklı yazar, güncel bakım ve topluluk katkısı konusunda olumlu kanıt sağlamıyor.
Detaylı değerlendirme
Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.