ashhart/TensorFold
LLM Inference Engine for Metal, CUDA and Vulkan.
Hızlı değerlendirme
Özet
TensorFold, Apple Silicon ve NVIDIA GPU’larda çeşitli LLM’leri yerel olarak çalıştırıp OpenAI-compatible ve Anthropic API’leri üzerinden sunan bir inference engine’dir.
Profiline uyum
LLM ve Anthropic/OpenAI uyumlu API kullanımıyla AI geliştirme çalışmalarınıza kısmen temas ediyor, fakat yerel inference ihtiyacı profilinizde yer almıyor.
Neden yükseliyor
109 günlük yaşına göre 1.055 yıldız ve son 28 günde 143 commit ile 20 farklı yazar kayda değer geliştirme hareketliliği gösteriyor; model ve checkpoint desteğinin genişliği de dikkat çekiyor. Bu veriler ilgiyi açıklayabilir, ancak yıldızların ne zaman kazanıldığı veya üretim kullanımının yaygınlığı bu ölçümlerden anlaşılamaz.
Problem
Farklı GPU’larda yerel LLM inference kurup uygulamalara ortak bir API üzerinden bağlamak ve desteklenen modellerde token üretimini hızlandırmak.
Çözüm
Python tabanlı bir servis sunar; MLX ve CUDA backend’leri, model ailelerine özgü kernel’ler ve MTP ya da DFlash2 gibi draft yöntemleriyle inference yapar. OpenAI-compatible API uçlarının yanında Anthropic Messages API’yi de destekler.
Yenilik
Yerel LLM serving, OpenAI-compatible API ve speculative drafting tek başına yeni kategoriler değil; TensorFold’un ayırt edici yanı, desteklediği model aileleri için özel kernel ve drafting yollarını birden fazla backend altında bir araya getirmesi. README bu yollar için bağımsız performans karşılaştırması sunmuyor.
Teknolojiler
- Python
- MLX
- CUDA
- OpenAI-compatible API
- Anthropic Messages API
- MTP
- DFlash2
Riskler
- Destek, genel bir model uyumluluğundan çok belirli model aileleri, checkpoint biçimleri ve quantization düzenleriyle sınırlı.
- CUDA için compute capability 8.9 veya üzeri gerekiyor; README bazı GPU ve yeni format yollarının donanımda henüz çalıştırılarak doğrulanmadığını belirtiyor.
- README’deki açıklama Vulkan desteğini söylüyor; ancak incelenen README bölümünde kullanım veya doğrulama ayrıntıları MLX ve CUDA için verilmiş. Vulkan desteğinin kapsamı net değil.
- Drafting bazı model ve backend kombinasyonlarında ek checkpoint gerektiriyor; gerektiğinde --no-drafts ile seri çalıştırma seçeneği belirtilmiş.
- Performans, doğruluk ve kararlılık iddialarını değerlendirmek için karşılaştırmalı benchmark ve bağımsız kullanım kanıtı bu bilgilerde yer almıyor.
- Bazı modellerin veya yardımcı checkpoint’lerin lisans koşulları farklı; örneğin README, GLM için belirtilen DFlash2 checkpoint’inin non-commercial lisans koşullarına dikkat çekiyor.
Detaylı değerlendirme
Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.