takahirom/arbigent

🧪 Arbigent — Framework kiểm thử AI agent phân rã tác vụ phức tạp

Zero to AI agent testing in minutes. Arbigent's intuitive UI và powerful code interface giúp việc kiểm thử AI agent trở nên dễ tiếp cận, trong khi tính năng phân rã scenario đảm bảo khả năng mở rộng cho ngay cả tác vụ phức tạp nhất.

Arbigent (tên đầy đủ Arbiter-Agent) là một framework kiểm thử ứng dụng hiện đại bằng AI agent, do developer Takahiro Murakami phát triển. Dự án giải quyết vấn đề brittle testing truyền thống — khi A/B test, dialog bất ngờ hay nội dung thay đổi liên tục khiến test fail — bằng cách sử dụng AI agent có khả năng phân rã tác vụ lớn thành các scenario nhỏ hơn, phụ thuộc lẫn nhau.

Framework được viết bằng Kotlin, hỗ trợ đa nền tảng bao gồm Android, iOS, Web và cả TV với D-pad navigation, đồng thời cho phép tuỳ chỉnh linh hoạt qua mô hình interceptor lấy cảm hứng từ OkHttp.

✅ Điểm nổi bật

• Phân rã scenario phụ thuộc: Phân tách tác vụ phức tạp thành các bước nhỏ hơn có quan hệ phụ thuộc (ví dụ: login → search), giúp AI agent thực thi dự đoán được hơn.
• Hybrid workflow: QA engineers thiết kế scenario qua giao diện UI trực quan; engineers lập trình thực thi qua YAML, tích hợp vào CI/CD hiện có.
• Multi-platform: Hỗ trợ kiểm thử trên iOS, Android, Web và Android TV, bao gồm cả điều hướng bằng D-pad.
• UI Tree Optimization: Lọc và đơn giản hoá cây giao diện để AI hiểu nhanh hơn; hỗ trợ annotated screenshot cho apps thiếu accessibility info.
• AI-Powered Image Assertion: Tích hợp Roborazzi để xác minh quyết định của AI agent bằng hình ảnh, cho phép AI tự đánh giá lại nếu cần.
• Stuck Screen Detection: Nhận diện khi AI agent bị kẹt tại cùng một màn hình và tự động yêu cầu reconsider hành động.
• Maestro YAML Integration: Chạy sẵn các flow Maestro YAML làm bước khởi tạo trong scenario Arbigent — ví dụ chạy login flow trước khi test bằng AI agent.
• MCP Support: Hỗ trợ Model Context Protocol để mở rộng khả năng kết nối với các công cụ và hệ thống bên ngoài.
• Custom Hooks: Cung cấp interface để thêm các hàm init và cleanup tuỳ chỉnh, kiểm soát chi tiết việc thực thi scenario.
• Open source + model linh hoạt: Miễn phí, mặc định dùng gpt-4.1, hỗ trợ cả model tiết kiệm chi phí như gpt-4o-mini.

💡 Vì sao đáng chú ý

Arbigent giải quyết đúng khoảng trống giữa AI agent và kiểm thử thực tế: AI agent thường hoạt động không như mong muốn — mở sai app, click nhầm nút — và framework truyền thống không xử lý được sự phức tạp này. Bằng cách chia nhỏ tác vụ thành các scenario phụ thuộc, Arbigent biến bài toán kiểm thử AI agent từ "không thể kiểm soát" thành "dự đoán được và mở rộng được".

Điểm mạnh khác nằm ở khả năng tuỳ chỉnh: mô hình interceptor cho phép người dùng tự xây dựng interceptor riêng cho provider AI, OS hay form factor cụ thể, tránh tình trạng phụ thuộc vào một nền tảng duy nhất. Kết hợp UI cho QA và code cho dev, Arbigent tạo cầu nối giữa hai nhóm vai trò trong quy trình phát triển.

#AI #AgentTesting #Android #Kotlin #OpenSource #TiniX