Yanun/Swift-Qwen3.8-27b-oQ4e-mtp
Swift-Qwen3.8-27b-oQ4e-mtp Model architecture A 27B-class dense multimodal model stored in MLX format. It contains a text backbone, a vision encoder, and one multi-token prediction (MTP) layer. | Component | Structure | |---|---| | Text backbone | 6...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#2 Repository Của Tháng
🚀 Swift-Qwen3.8-27b-oQ4e-mtp — Mô hình đa phương thức 27B trên MLX với MTP
Mô hình Qwen 27B cỡ nhỏ dạng MLX hỗ trợ tầm nhìn, ngữ và dự đoán đa token (MTP).
Swift-Qwen3.8-27b-oQ4e-mtp là phiên bản chuyển đổi MLX của mô hình Qwen 27B do UkisAI phát triển. Nó kết hợp một bộ xử lý ngữ nhận, một bộ mã hóa hình ảnh và một lớp dự đoán đa token (MTP), phù hợp cho các tác vụ image-text-to-text trên thiết bị cá nhân.
✨ Điểm nổi bật
- Kiến trúc 27B: Bộ xử lý ngữ với 64 tầng, kích thước ẩn 5.120, FFN 17.408.
- Cơ chế chú ý phỗ biến thể: 48 tầng chú ý tuyến tính, 16 tầng chú ý đầy đủ, chú ý đầy đủ mỗi bốn tầng.
- Giới hạn ngữ cảnh 262K token: Hỗ trợ ngữ cảnh dài tùy chỉnh theo bộ nhớ.
- Bộ mã hóa thị giác: 27 tầng, kích thước ẩn 1.152, 16 đầu chú ý, với bản đồ vùng ảnh 16×16.
- Kết nối thị giác-ngữ: Đặc trưng thị giác được chiếu về kích thước ẩn ngữ 5.120.
- Lớp MTP: Thêm một lớp dự đoán đa token với cơ chế chú ý và FFN.
- Độ chính xác hỗn hợp: 4-bit affine mặc định, 187 mô-đun 5-bit override, MTP fusion và norm giữ ở BF16.
💡 Vì sao đáng chú ý
Điểm khác biệt của dự án là sự kết hợp giữa mô hình đa phương thức cỡ lớn và định dạng MLX, giúp chạy trên Mac và thiết bị cá nhân mà không cần GPU đắt tiền. Việc dùng 4-bit và 5-bit mixed precision giảm dung lượng bộ nhớ đáng kể nhưng vẫn giữ được hiệu suất từ các lớp MTP và fusion ở BF16.
#Qwen #MLX #Multimodal #MTP #Quantized #TiniX
Similar Projects
Discover other similar projects and AI models.
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
Qwen3.5-9B !Qwen Chat(https://img.shields.io/badge/%F0%9F%92%9C%EF%B8%8F%20Qwen%20Chat%20-536af5)(https://chat.qwen.ai) !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers...
LocateAnything: Fast and High-Quality Vision-Language Grounding with Parallel Box Decoding 🔗 Quick Links 🚀 Online Demo: LocateAnything (Hugging Face Spaces)(https://huggingface.co/spaces/nvidia/LocateAnything) 💻 GitHub Code: NVlabs/Eagle/Embodied...