United States
lahfir/agent-desktop
Agent Desktop gives any agent reliable computer use on the desktop. Built with Rust, it sees any app's real UI structure through OS accessibility trees and operates it — refs stay stable and actions stay safe to retry, instead of guessing from pixels.
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#3 Repository Của Tuần
🖥️ Agent Desktop — Tự động hóa desktop tin cậy cho AI agents bằng Rust
Truy cập cây tiếp cận (accessibility tree) thực của bất kỳ ứng dụng nào, không dựa vào pixel hay trình duyệt.
agent-desktop là một CLI tự động hóa desktop native được thiết kế riêng cho AI agents, viết bằng Rust. Thay vì đoán đo từ pixel hoặc chụp màn hình, công cụ này truy cập trực tiếp cấu trúc giao diện người dùng thực thông qua cây tiếp cận (accessibility tree) của hệ điều hành — giúp các agents quan sát, quyết định và hành động một cách ổn định và an toàn.
✨ Điểm nổi bật
- CLI native bằng Rust: Nhanh, nhẹ, một nhịp điệu duy nhất, không phụ thuộc thời gian chạy
- Thư viện C-ABI cdylib (
libagent_desktop_ffi): Tải một lần và gọi từ Python / Swift / Go / Ruby / Node / C thay vì gọi CLI mỗi lần - 54 lệnh: Quan sát, tương tác, bàn phím, chuột, thông báo, bảng nhớ tạm, quản lý cửa sổ, cùng trình tải tài liệu
skillstích hợp sẵn - Duyệt cây tiến tới: Giảm 78–96% token trên các ứng dụng phức tạp thông qua cây sơ khai + thu thập chi tiết mục tiêu
- Snapshot & refs: Quy trình tối ưu cho AI sử dụng ID ảnh chụp nhỏ gọn và tham chiếu phần tử xác định (
@e1,@e2) - Tương tác headless mặc định: Các hành động tham chiếu dùng accessibility API và chặn các tác dụng phụ ngầm lặng như di chuyển con trỏ, bàn phím hoặc bảng nhớ tạm
- Đầu ra JSON cấu trúc: Phản hồi dạng máy đọc được với mã lỗi và gợi ý phục hồi
- Hỗ trợ mọi ứng dụng: Finder, Safari, System Settings, Xcode, Slack — bất kỳ ứng dụng nào có cây tiếp cận
💡 Vì sao đáng chú ý
Không như các công cụ tự động hóa dựa trên nhận dạng hình ảnh hay điều khiển pixel, agent-desktop truy cập trực tiếp cấu trúc UI thực từ hệ điều hành — giúp các tham chiếu luôn ổn định và các hành động an toàn để thử lại. Đây là nền tảng vữ chắc cho các AI agents cần thao tác desktop một cách tin cậy và có thể lặp lại.
Phù hợp với các agent AI làm việc trên môi trường macOS hoặc Linux, đặc biệt khi cần tương tác với các ứng dụng phức tạp như Slack, VS Code, Notion — nơi các giải pháp truyền thống thường gặp khó khăn với kích thước token lớn.
#AI #Rust #DesktopAutomation #Accessibility #MCP #ComputerUse #TiniX
Similar Projects
Discover other similar projects and AI models.
Reverse engineer anything with agents, from app behavior down to native binaries.
A cross-platform desktop All-in-One assistant for Claude Code, Codex, OpenCode, OpenClaw, Grok Build & Hermes Agent. Only official website: ccswitch.io
The agent harness performance optimization system. Skills, instincts, memory, security, and research-first development for Claude Code, Codex, Opencode, Cursor and beyond.
Fair-code workflow automation platform with native AI capabilities. Combine visual building with custom code, self-host or cloud, 400+ integrations.
An open-source AI agent that brings the power of Gemini directly into your terminal.
The fastest, cheapest, most efficient open-source agent harness. Run more than 500 agents on a $10 VPS.
Open-source agent for the terminal written in Rust. Use any provider or model. Issues & PRs always welcome
Build Agentic workflows, RAG pipelines, with rich AI model and tool support on one collaborative workspace. Deploy on cloud, VPC, or self-hosted, so teams move from prototype to production without rebuilding the stack.