savka777/jev-use
Say it, and your Mac does it. A computer-use harness on Jev that reads the screen through Accessibility. Fast, no vision model
Hızlı değerlendirme
Özet
jev-use, macOS’ta sesli veya yazılı komutları Accessibility tree üzerinden uygulama eylemlerine dönüştüren bir computer-use aracı.
Profiline uyum
Swift kullanmanızla teknoloji düzeyinde örtüşüyor, ancak macOS arayüz otomasyonu profilinizdeki mobil uygulama geliştirme ihtiyacını karşılamıyor.
Neden yükseliyor
README, vision model kullanmadan Accessibility tree ile bilgisayar kontrolü vaadini ve hızlı kurulum akışını öne çıkarıyor. Ölçümlerde repo 8 günlük, 100 yıldızlı; son 28 günde 8 commit ve 2 farklı yazar var. Bu, erken ilgi ve bir miktar geliştirme faaliyeti gösteriyor ancak benimseme veya olgunluk kanıtı değil.
Problem
Bilgisayarı doğal dille kontrol etmek için ekran görüntüsü işleme ve vision modeline ihtiyaç duyulması; ayrıca arayüzdeki gerçek öğeleri güvenilir biçimde hedeflemek.
Çözüm
Öndeki uygulamanın Accessibility tree’sini okuyup hedefleri Jev API’sine gönderiyor; modelin seçtiği eylemi macOS’ta uyguluyor ve sonucu yeniden okuyarak döngüyü sürdürüyor. Sesli komut için Apple Speech kullanıyor.
Yenilik
Computer-use yaklaşımı yeni değil; ayırt edici tercih, ekran görüntüsü yerine macOS Accessibility tree’sini hedef bağlamı olarak kullanması ve eylem sonrasında sonucu tekrar kontrol etmesi. Bu yaklaşımın uygulamalar arasında ne kadar tutarlı çalıştığına dair README dışında kanıt sunulmuyor.
Teknolojiler
- Swift
- macOS Accessibility
- Jev API (jev-latest)
- TypeSafe API
- Apple Speech
- Keychain
Riskler
- Jev/TypeSafe API’ye bağımlı; API erişimi, maliyet ve hizmet sürekliliği hakkında README’de ayrıntı yok.
- Komut, uygulama ve pencere adları, erişilebilir arayüz öğeleri ve son eylemler API’ye gönderiliyor; bu, hassas iş akışlarında veri değerlendirmesi gerektirir.
- Yalnızca macOS 14.2+ hedefliyor ve Accessibility izni gerektiriyor.
- Erişilebilirlik ağacının kapsamı uygulamaya göre değişebilir; her arayüz öğesinin doğru okunacağı veya kontrol edileceği garanti edilmiyor.
- Apple Speech çevrimiçi ses işleme kullanabilir; wake-word özelliği özel bir offline motor değil.
Detaylı değerlendirme
Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.