tencent/UI-Mate-27B
UI-Mate-27B UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations Show the workflow once. Let the agent adapt it to the task at hand. Tencent HY Frontier Project Page(https://ui-mate.github.io/) · GitHub(https://github....
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🖥️ UI-Mate-27B: GUI Agent mã nguồn mở đa nền tảng từ Tencent
UI-Mate: Chỉ cần một lần chỉ cho workflow, agent sẽ tự thích ứng với nhiệm vụ.
UI-Mate-27B là một nền tảng GUI agent mã nguồn mở do Tencent HY Frontier phát triển, được thiết kế để thực hiện các công việc đa ứng dụng và hệ điều hành. Dựa trên mô hình Qwen3.6-27B, UI-Mate-27B quan sát trực tiếp ảnh chụm màn hình sống, lý luận trạng thái hiện tại và sinh ra các lệnh bàn phím/chuột có cấu trúc để tương tác với giao diện người dùng thật.
✨ Điểm nổi bật
- Tham số 27B: Dựa trên Qwen3.6-27B, tối ưu cho nhiệm vụ điều khiển máy tính đa dạng.
- Hỗ trợ đa hệ điều hành: Đạt hiệu suất cao trên cả Ubuntu và Windows.
- Grounding thời gian thực: Sử dụng ảnh chụm màn hình trực tiếp thay vì phát lại tọa độ.
- Hành động có cấu trúc: Hỗ trợ mouse, keyboard, scrolling, waiting, user interaction, task completion — tương thích với pyautogui.
- Hỗ trợ in-context demonstrations: Cho phép điều chỉnh hành vi theo ví dụ minh họa.
- Phục vụ kiểu OpenAI: Tương thích API OpenAI, dễ tích hợp vào pipeline hiện có.
- Đánh giá mạnh mẽ: Đạt 77.0 trên OSWorld-Verified, 66.2 trên WindowsAgentArena.
- Giấấy phép Apache-2.0: Tự do sử dụng cho nghiên cứu và phát triển.
💡 Vì sao đáng chú ý
UI-Mate-27B không chỉ là một mô hình nhận dạng hình ảnh, mà là một agent thực thi hành động — kết hợp lý luận (reasoning) và sinh lệnh (action generation). Khác với các phương pháp dựa trên tọa độ cố định, UI-Mate-27B điều khiển bằng ảnh chụm thực tế, giúp thích ứng tốt với giao diện thay đổi. Đặc biệt phù hợp cho các nghiên cứu về agent tự động hóa desktop, kiểm thử giao diện người dùng, hoặc xây dựng trợ lý ảo điều khiển máy tính.
#GUIAgent #Multimodal #OpenSource #ComputerUseAgent #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
UI-Mate-democua-27B UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations Show the workflow once. Let the agent adapt it to the task at hand. Tencent HY Frontier Project Page(https://ui-mate.github.io/) · GitHub(https:/...