FareedKhan-dev/kimi-k3-in-c
A 2.78-trillion-parameter Kimi K3 running inference on a single CPU in 8.24 GB of RAM. Portable C99: no BLAS, no framework, no GPU.
Hızlı değerlendirme
Özet
kimi-k3-in-c, Kimi K3 modelinde inference çalıştırmayı hedefleyen bağımlılıksız bir C99 motorudur.
Profiline uyum
Yerel LLM inference motoru AI ilginizle geniş ölçüde örtüşse de profilinizde GPU’suz büyük model çalıştırma ihtiyacı yok.
Neden yükseliyor
57 günde 8.683 yıldız alması ve Kimi K3'ü 8 GB RAM'li CPU'da çalıştırma iddiası dikkat çekiyor; ancak son 28 gündeki 12 commit'in tek yazardan gelmesi, ilginin bağımsız teknik doğrulama veya geniş katkıcı tabanıyla desteklendiğini göstermiyor.
Problem
Büyük Mixture-of-Experts modellerini çalıştırmak için gereken GPU ve yüksek RAM kapasitesine erişemeyen kullanıcıların CPU üzerinde inference yapabilmesini hedefliyor.
Çözüm
README'ye göre yoğun model bölümlerini bellekte tutarken routed expert ağırlıklarını diskten alıp packed 4-bit biçimde işliyor; proje bunu portable C99 ile, BLAS veya framework kullanmadan uyguladığını belirtiyor.
Yenilik
Büyük bir MoE modelinin ağırlıklarını bellek ve disk arasında yönetip düşük RAM'de CPU inference yapma hedefi dikkat çekici; ancak bu yaklaşımın uygulamadaki yenilik düzeyi ve iddia edilen performans README'deki bilgilerle bağımsız olarak doğrulanamıyor.
Teknolojiler
- C99
- AVX2
- MXFP4
- Mixture-of-Experts
- linear attention
- CPU inference
Riskler
- README'deki bellek ve hız ölçümleri proje tarafından raporlanıyor; bağımsız tekrar ölçümü veya doğrulama bilgisi sunulan içerikte yok.
- 1.56 TB checkpoint ve token başına süre iddialarının, hangi ağırlıkların her adımda gerçekten diskten okunduğu açıklanmadan değerlendirilmesi zor; tüm checkpoint'in 26,5 saniyede okunması biçimindeki yorum olağan depolama bant genişliğiyle uyuşmuyor.
- Son 28 günde tek farklı yazar görünmesi bakım, inceleme ve sürdürülebilirlik açısından sınırlı kanıt sunuyor.
- Model checkpoint'inin erişilebilirliği, lisansı ve farklı donanımlarda aynı sonuçların elde edilmesi ayrıca doğrulanmalı.
Detaylı değerlendirme
Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.