squall01337/mixamo-llm-mocap
Turn any video into a Mixamo-rig animation - GVHMR estimator, spec-driven retarget, FK apply in Blender via MCP. Works with any Mixamo character; built to be operated end-to-end by an AI agent.
Hızlı değerlendirme
Özet
Video görüntüsündeki hareketi GVHMR ile çıkarıp Mixamo karakterlerine FK animasyonu olarak aktaran, Blender tabanlı bir mocap pipeline'ı.
Profiline uyum
Blender karakter animasyonu üretir; profilinizde animasyon veya mocap ihtiyacı bulunmuyor.
Neden yükseliyor
41 günlük yaşında 314 yıldıza ulaşmış; video-to-animation akışını Mixamo retargeting ve otomatik QA ile birleştirmesi dikkat çekici. Son 28 günde 8 commit var, ancak farklı yazar sayısının 1 olması ilginin bağımsız katkıcı tabanına dönüştüğünü göstermiyor.
Problem
Mocap suit veya elle keyframe olmadan videodaki performansı Mixamo rig'li karakterlere aktarmak; özellikle ayak kayması, ekstrem pozlar ve iki karakterli sahnelerde tutarlı sonuç almak.
Çözüm
GVHMR ile SMPL-X pozlarını tahmin ediyor, video keypoint'leriyle iyileştiriyor ve ölçülen rig profiline göre Mixamo kemiklerine retarget ediyor. Ayak kilitleme, hareket spesifikasyonları, Blender'da FK uygulama ve otomatik QA adımları da pipeline'a dahil.
Yenilik
Bileşenlerin kendisi yeni değil; ayırt edici tarafı SMPL-X rotation aktarımı, rig profiline göre retargeting, temas düzeltmeleri ve spec-driven iş akışını tek bir Mixamo/Blender pipeline'ında birleştirmesi.
Teknolojiler
- Python
- Blender
- Blender MCP
- GVHMR
- SMPL-X
- ViTPose
- MediaPipe
- CUDA
Riskler
- README'deki sonuç iddiaları ve örnekler bağımsız kalite ölçümü veya kullanıcı verisiyle doğrulanmış görünmüyor.
- Proje tek yazarlı; bakım sürekliliği ve hata düzeltme kapasitesi belirsiz.
- Dokümantasyonda Blender 5.1+ ve yaklaşık 8GB VRAM gereksinimi belirtiliyor; GVHMR ve diğer model bağımlılıklarının kurulumu akışın kullanılabilirliğini etkileyebilir.
- Varsayılan akış sabit kameralı video varsayımına dayanıyor; hareketli kamera veya daha karmaşık çekimlerde aynı sonucu vermeyebilir.
- Sonuç kalitesi poz tahmini, keypoint tespiti ve retargeting adımlarının her birine bağlı; otomatik QA olması animasyonun görsel olarak doğru olduğunu tek başına garanti etmiyor.
Detaylı değerlendirme
Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.