germondai/trawl
Self-hosted scraping engine — bypasses any JS challenge & captcha: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. FlareSolverr & Byparr alternative and drop-in replacement for your *arr stack.
Hızlı değerlendirme
Özet
TRAWL, web scraping sırasında karşılaşılan anti-bot duvarlarını ve CAPTCHA’ları aşmayı hedefleyen, self-hosted bir scraping engine’dir.
Profiline uyum
MCP üzerinden agent'lara web içeriği sağlayabilse de temel odağı profilinizde olmayan CAPTCHA aşma ve scraping.
Neden yükseliyor
93 günde 857 yıldız ve son 28 günde 133 commit ile 6 farklı yazar, hem görünürlüğün hem geliştirme etkinliğinin kayda değer olduğunu gösteriyor; öne çıkışın belirli nedenini mevcut verilerle doğrulamak mümkün değil. *arr uyumluluğu ve geniş anti-bot/CAPTCHA kapsamı muhtemel ilgi unsurları.
Problem
Cloudflare ve benzeri korumalar, otomatik veri toplama işlerini ve *arr ekosistemindeki scraper’ları engelleyebilir; mevcut servisler yavaş, başarısız veya ücretli solver’lara bağımlı olabilir.
Çözüm
İsteğe önce plain HTTP fetch, ardından cached browser session ve challenge çözme gibi kademelerle yanıt veriyor; gerektiğinde proxy kullanımına yükseliyor. README, Camoufox Firefox tabanlı browser akışları, Redis ile session cache ve FlareSolverr uyumluluğu belirtiyor.
Yenilik
Anti-bot aşma ve browser otomasyonu yeni alanlar değil; plain HTTP’den browser ve proxy kademelerine geçen bütünleşik akış ile birden fazla koruma türü için özel akışlar ürünün belirgin yaklaşımı. README’deki hız ve başarı oranı üstünlüğü iddiaları bağımsız ölçümle desteklenmiyor.
Teknolojiler
- TypeScript
- Bun
- Elysia
- Camoufox
- Firefox
- Redis
- Docker
Riskler
- Anti-bot sistemleri ve CAPTCHA’lar sürekli değiştiği için mevcut çözüm akışlarının başarısı zamanla düşebilir.
- README’deki “2-6x faster” ve daha yüksek başarı oranı iddiaları için karşılaştırma koşulları veya bağımsız benchmark sunulmuyor.
- Scraping ve koruma aşma, hedef sitelerin kullanım koşulları veya yerel hukukla çelişebilir.
- Proxy, browser session ve çözülmüş cookie’ler operasyonel maliyet, gizlilik ve güvenlik sorumlulukları doğurabilir.
Detaylı değerlendirme
Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.