oboroge0/hayamimi
早耳 - Real-time multilingual speech-to-text on CPU only. Live subtitles, browser dashboard, speaker labels, translation. No GPU, no cloud.
Hızlı değerlendirme
Özet
hayamimi, specialist ASR modellerini dile göre yönlendirerek CPU üzerinde gerçek zamanlı, çok dilli konuşma dökümü ve canlı altyazı sağlar.
Profiline uyum
Çok dilli konuşma tanıma ve çeviri, dil eğitimi uygulamalarınızdaki çeviri ve ses özelliklerine doğrudan katkı sağlayabilir.
Neden yükseliyor
34 günlük yaşına karşın 348 yıldız ve son 28 günde 112 commit dikkat çekici ilgi ve geliştirme temposuna işaret ediyor. Ancak bu çalışma 3 farklı yazarla sınırlı; ilginin nedenini veya kalıcı benimsemeyi tek başına kanıtlamıyor.
Problem
Canlı konuşmayı bulut API'sine veya GPU'ya ihtiyaç duymadan, düşük gecikmeyle metne çevirmek; genel amaçlı tek bir modelin bazı dillerdeki doğruluk sınırlarını aşmak.
Çözüm
Ses akışını dile göre specialist modellere yönlendirir; modelleri quantized ONNX olarak sherpa-onnx üzerinden çalıştırır. Kısmi ve son dökümlere ek olarak iki aşamalı iyileştirme, speaker labels, translation ve yerel browser dashboard sunar.
Yenilik
Belirgin yaklaşım, dili algılayıp tek bir genel amaçlı ASR yerine dile özel modelleri CPU'da yönlendirmesi ve bunu canlı, iyileştirilen döküm akışıyla birleştirmesi. Bu fikir tek başına yeni değil; projenin iddiası, uygulama kalitesi ve ölçülen sonuçlarda. README'deki doğruluk ve hız karşılaştırmaları proje tarafından raporlanmış, bağımsız doğrulama olarak değerlendirilmemeli.
Teknolojiler
- Python
- sherpa-onnx
- ONNX
- Meta Omnilingual ASR
- CAM++
- pyannote segmentation-3.0
- FuguMT
- M2M-100
- Parakeet
Riskler
- Proje çok yeni ve son 28 gündeki 112 commit yalnızca 3 farklı yazardan geliyor; bakımın sürdürülebilirliği henüz belirsiz.
- Doğruluk ve gecikme sonuçları belirli veri kümeleri ile donanım koşullarına bağlı; farklı dil, ses kalitesi ve CPU'larda aynı sonuçlar alınmayabilir.
- Çok sayıda model ve dil rotası kurulum, model indirme, bellek yönetimi ve hata ayıklama yükünü artırabilir.
- README, bazı özellikler için açık sınırlamalar bildiriyor: Japonca tier'da hotwords etkisiz; speaker diarization sonuçları iyileştirme sonrasında bile hatasız değil.
Detaylı değerlendirme
Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.