brandynfisher/ToolReplay
Audit AI agent tool-call transcripts: hash-chain sealing, deterministic replay, and scope overreach checks. Dependency-free Python CLI.
Hızlı değerlendirme
Özet
ToolReplay, AI agent’ların tool-call transcript’lerini determinism, yinelenen çağrılar ve izin kapsamı açısından denetleyen bir Python CLI’dir.
Profiline uyum
Agent ve MCP iş akışlarındaki çağrıları denetleme ve tekrar oynatma açısından yararlı olabilir, ancak profilde belirgin bir transcript audit ihtiyacı yok.
Neden yükseliyor
AI agent’ların davranışını denetlenebilir ve tekrarlanabilir kılma ihtiyacına doğrudan hitap ediyor; README’de örnek girdi ve çıktıyla çalışan bir kullanım gösteriliyor. 13 günde 184 yıldız dikkat çekiyor, ancak son 28 günde 2 commit ve 1 farklı yazar bakım ve benimsenmenin sürdürülebilirliği için henüz zayıf kanıt.
Problem
Agent oturumlarında aynı tool çağrısının farklı sonuç vermesi, gereksiz çağrı yapılması veya tanımlı izinlerin aşılması sonradan fark edilmeyebilir; bu durum hata ayıklamayı ve güvenlik incelemesini zorlaştırır.
Çözüm
JSONL transcript’lerini yerel olarak analiz eder; `replay` ile aynı tool ve argümanlara farklı yanıt verilmesini ve bazı gereksiz tekrarları, `scope` ile çağrıların izin dosyasına uyup uymadığını raporlar. Ayrıca transcript’i hash-chain ile mühürleme ve zinciri doğrulama komutları sunar.
Yenilik
Hash-chain sealing, replay ve scope denetimini agent transcript’lerine yönelik tek bir dependency-free CLI’de birleştirmesi pratik bir odak; ancak sunulan kanıt, bu tekniklerin temelinde yeni bir yöntem olduğunu göstermiyor.
Teknolojiler
- Python 3.11+
- JSONL
- CLI
- hash-chain
Riskler
- Bu, kaydedilmiş transcript’leri inceleyen bir araçtır; README’deki `replay` açıklaması gerçek tool’ları yeniden çalıştırdığı anlamına gelmiyor.
- Aynı tool ve argümanlara farklı yanıt verilmesi nondeterminism bulgusudur; değişen dış sistem veya veri durumu da buna yol açabileceğinden bulgu tek başına hata kanıtı değildir.
- İzin denetiminin anlamlılığı, sağlanan scope dosyasının doğruluğuna ve kapsamına bağlıdır.
- Hash-chain transcript bütünlüğünü denetlemeye yardımcı olur; tek başına transcript’in kaynağını doğrulamaz.
- Proje çok yeni; tek yazar ve sınırlı commit etkinliği uzun vadeli bakım hakkında güven vermek için yeterli değil.
Detaylı değerlendirme
Bu repo için detaylı değerlendirme henüz yapılmadı. Analiz, Ayarlar'daki uyum profilini hesaba katarak "bu işime yarar mı" sorusunu cevaplıyor. Bir kez çalışır; günlük koşular buna dokunmaz. Saatlik sınır var — bir kaynaktan en fazla 3 analiz.