awlevin/typesafe-computer-use
Computer use for about $0.0002 a step: OCR the screen, classify the next action with TypeSafe, click. macOS.
Hızlı değerlendirme
Özet
typesafe-computer-use, macOS ekranını OCR ve accessibility bilgileriyle okuyup TypeSafe kararları üzerinden fare ve klavye eylemlerini yürüten bir computer-use aracıdır.
Profiline uyum
Agent otomasyonu ve Anthropic kullanımı profilinizle kısmen kesişiyor; ancak macOS masaüstü kontrolü, belirttiğiniz ürün geliştirme veya AI özellikleri ihtiyacına doğrudan hizmet etmiyor.
Neden yükseliyor
11 günde 1013 yıldıza ulaşması belirgin ilgiye işaret ediyor; README'deki adım başına düşük maliyet ve gecikme iddiaları da dikkat çekici. Son 28 gündeki 78 commit ve 7 farklı yazar hareketli geliştirmeyi gösteriyor, ancak projenin yalnızca 11 günlük olması nedeniyle uzun vadeli benimsenme veya kalite hakkında henüz kanıt sayılmaz.
Problem
Bilgisayar kullanımı yapan agent'ların her adımda pahalı ve yavaş frontier-model çağrılarına ihtiyaç duyması; özellikle tekrarlayan arayüz eylemlerinin maliyetini ve gecikmesini azaltma ihtiyacı.
Çözüm
Ekran içeriğini Apple Vision OCR ve accessibility tree ile toplar, tarih ve odak gibi bilgileri kodla çıkarır, sonraki eylemi TypeSafe classifier'a seçtirir ve eylemi yerel olarak uygular. Serbest metin gerektiğinde isteğe bağlı bir writer modeli kullanır.
Yenilik
Computer-use döngüsünde her adım için frontier modelden plan istemek yerine sınırlı seçenekler arasından TypeSafe classifier ile karar verme ve diğer çıkarımları deterministik kodla yapma yaklaşımı. Bu, tamamen yeni bir problem alanı değil; maliyet ve hız avantajı README'deki proje içi ölçümlere dayanıyor ve bağımsız doğrulanmış değil.
Teknolojiler
- Python 3.12+
- TypeSafe
- Apple Vision OCR
- macOS accessibility tree
- Anthropic API (optional)
- Ollama
- LM Studio
Riskler
- Proje beta aşamasında; davranış ve ayarlar sürümler arasında değişebilir.
- Gerçek fare ve klavyeyi kullandığı için yanlış kararlar canlı oturumda istenmeyen işlemlere yol açabilir; dry run ile başlamak gerekir.
- Karar adımları TypeSafe API ve API anahtarına bağlıdır; maliyet ve performans iddiaları bağımsız benchmark olarak doğrulanmış değildir.
- Ekran okuma ve eylem yürütme için macOS izinleri gerekir.
- Windows desteği deneysel olarak belirtilmiş; README macOS 14+ gereksinimi veriyor.
- Ekrandaki içerik OCR girdisi olduğundan terminal veya hassas bilgilerin görünür olması veri ve gizlilik riski yaratabilir.
Detaylı değerlendirme
Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.