lycorp-jp/sim-use
Give your AI agent eyes and hands on iOS Simulator and Android emulator/devices.
Hızlı değerlendirme
Özet
sim-use, AI agent’ların iOS Simulator ve Android cihaz/emulator ekranlarını inceleyip etkileşime girmesini sağlayan bir CLI sunuyor.
Profiline uyum
iOS ve Android uygulamalarını agent’larla çalıştırıp doğrulaması, mobil uygulama geliştirme ve test ihtiyacınıza doğrudan dokunuyor.
Neden yükseliyor
Mobil arayüzleri agent’ların gözlemleyip kontrol etmesi, agentic development akışındaki somut bir boşluğu hedefliyor. 94 günlük repo yaşına karşı 1372 yıldız ve son 28 gündeki 34 commit ile 4 farklı yazar dikkate değer ilgi ve geliştirme faaliyeti gösteriyor; ancak bu veriler tek başına gerçek kullanım veya benimseme kanıtı değil.
Problem
Mobil uygulama geliştirme akışlarında agent’ların ekrandaki durumu anlayıp güvenilir biçimde işlem yapması ve sonucu doğrulaması zor; koordinat temelli otomasyon da ekran düzeni değişikliklerine karşı kırılgan.
Çözüm
iOS için Apple Accessibility APIs ve Simulator HID pipeline’ını, Android için AccessibilityService’i tek bir CLI arayüzünde birleştiriyor; ekranı agent’ların okuyabileceği kompakt bir outline olarak sunuyor ve alias, accessibility ID veya label üzerinden işlem yapılmasına izin veriyor.
Yenilik
Accessibility tabanlı mobil otomasyon yeni değil; ayırt edici tarafı ekranı LLM kullanımı için kompaktlaştırması, alias tabanlı etkileşimi ve iOS/Android için ortak CLI yüzeyini agent döngüsüne göre tasarlaması.
Teknolojiler
- Swift
- Apple Accessibility APIs
- iOS Simulator HID
- Android AccessibilityService
- Meta idb
- Xcode
- XcodeGen
Riskler
- macOS 14+ ve Xcode gerektiriyor; Android desteği de README’deki ortak arayüze rağmen iOS odaklı bir Swift/macOS çalışma ortamına bağlı.
- Kaynak koddan derleme, Meta idb tabanlı XCFramework’lerin yerel oluşturulmasını gerektiriyor ve Xcode toolchain değişikliklerinde yeniden derleme ihtiyacı doğurabiliyor.
- Etkileşimlerin başarısı uygulamanın ve sistem arayüzünün accessibility verisini ne kadar doğru sunduğuna bağlı olabilir.
- Yıldız ve commit sayıları güçlü erken ilgi gösterse de uzun vadeli bakım, saha güvenilirliği ve kullanıcı benimsemesi için henüz sınırlı kanıt sunuyor.
Detaylı değerlendirme
Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.