tencent/UI-Mate-democua-27B
UI-Mate-democua-27B UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations Show the workflow once. Let the agent adapt it to the task at hand. Tencent HY Frontier Project Page(https://ui-mate.github.io/) · GitHub(https:/...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🖥️ UI-Mate-democua-27B — GUI agent học thao tác từ một demo
Chỉ cần một lần thực hiện, agent tự rút ra quy trình cho nhiệm vụ khác.
UI-Mate-democua-27B là phiên bản demonstration-guided của UI-Mate, dựa trên Qwen3.6-27B. Nó quan sát ảnh chụp màn hình sống, lập kế hoạch bàn phím/chuột và hỗ trợ nhận thêm một demo đã ghi âm để áp dụng quy trình tương tự.
✨ Điểm nổi bật
- One-shot procedural learning: học quy trình từ một demo duy nhất.
- Instruction-only execution giữ nguyên: huấn luyện trộn data chung và data demo giữ cho khả năng chạy không có demo.
- Live-screen grounding: không replay tọa độ, luôn re-plan từ giao diện thực.
- Subtask-level guidance: chỉ đưa quy trình con hiện tại chứ không phải toàn bộ.
- Structured actions compatible với pyautogui, phục vụ qua giao diện OpenAI-compatible.
- Trained on incomplete workflows: model tự infer bước bỏ qua từ screenshot.
- Hỗ trợ ba dạng guidance: full alignment, partial misalignment, irrelevance.
- Action space đầy đủ: mouse, keyboard, scroll, wait, subtask completion, task completion.
💡 Vì sao đáng chú ý
Không phải replay lại tọa độ, mà là re-plan từ screenshot mỗi bước — giúp agent thích ứng khi layout hay app thay đổi. Huấn luyện cố tình loại bỏ một số action (scroll, popup) để model không học thuộc thứ tự mà phải đọc giao diện. Đánh giá self-demo cho thấy tăng đáng kể trên OSWorld và OSWorkerBench.
#GUICopilot #Qwen3 #MultimodalAI #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
UI-Mate-27B UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations Show the workflow once. Let the agent adapt it to the task at hand. Tencent HY Frontier Project Page(https://ui-mate.github.io/) · GitHub(https://github....
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...