Shiftedx/qwopus3.8-27b-flash-mxfp4-vision-mtplx
Qwopus3.8 27B Flash · MXFP4 Vision MTPLX Apple-Silicon MLX release of Jackrong/Qwopus3.8-27B-Flash(https://huggingface.co/Jackrong/Qwopus3.8-27B-Flash): an MXFP4 text body paired with the source model's exact BF16 vision tower and exact native BF16...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🚀 Qwopus3.8 27B Flash · Bản phát hành MLX cho Apple Silicon với MXFP4 + Vision + MTP
Bản phát hành Apple-Silicon MLX của mô hình Qwopus3.8-27B-Flash, kết hợp body MXFP4, vision tower BF16 và MTP sidecar BF16 nguyên bản từ nguồn.
Đây là bản phát hành MLX dành cho chip Apple Silicon của dự án Jackrong/Qwopus3.8-27B-Flash, được chuyển đổi từ safetensors BF16 gốc — không phải là requantization từ bản GGUF. Mô hình kết hợp một body ngôn ngữ MXFP4 với vision tower BF16 nguyên bản (333 tensor) và MTP sidecar BF16 (15 tensor, độ sâu 3), hỗ trợ thực thi trên nền tảng MTPLX 2.11.1 / MLX 0.32.2.
✨ Điểm nổi bật
- Body ngôn ngữ MXFP4: phiên bản lượt hoá số lượng tối ưu cho bộ nhớ và tốc độ trên Apple Silicon.
- Vision tower BF16 nguyên bản: giữ nguyên trọng lượng BF16 từ mô hình nguồn với 333 tensor.
- MTP sidecar BF16 tích hợp: hỗ trợ speculative decoding với độ sâu 3 và 15 tensor MTP.
- Hỗ trợ hình ảnh: pipeline
image-text-to-textcho phép xử lý đầu vào đa trường (hình ảnh + văn bản). - Chat template đi kèm: hỗ trợ định dạng tin nhắn trò chuyện chuẩn, yêu cầu giá trị content là chuỗi ký tự.
- Endpoint tương thích OpenAI: chạy cục bộ thông qua lệnh
mtplx servevới hỗ trợ tải về tự động. - Kiểm chứng toàn bản: SHA-256 của vision tower và MTP sidecar được cung cấp để đảm bảo tính toàn vẹn.
- Đa ngôn ngữ: hỗ trợ en, zh, es, ru, ja.
💡 Vì sao đáng chú ý
Bản phát hành này khác biệt ở sự kết hợp linh hoạt giữa lượt hoá MXFP4 tiết kiệm bộ nhớ và vision tower BF16 nguyên bản — tối ưu cho hiệu năng trên chip Apple Silicon mà không hy sinh chất lượng xử lý hình ảnh. Với hỗ trợ speculative decoding thông qua MTP sidecar, mô hình có thể tăng tốc sinh tạo đáng kể (lên tới 2.15× ở bài kiểm thử cục bộ).
Phù hợp cho các ứng dụng cần xử lý đa phương thức (vision + text) trên máy Mac, đặc biệt trong môi trường phát triển cục bộ hoặc triển khai nhẹ trên thiết bị Apple Silicon.
#MLX #Qwen3 #SpeculativeDecoding #VisionLanguage #AppleSilicon #Quantized #MTP #TiniX
Similar Projects
Discover other similar projects and AI models.
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
Qwen3.5-9B !Qwen Chat(https://img.shields.io/badge/%F0%9F%92%9C%EF%B8%8F%20Qwen%20Chat%20-536af5)(https://chat.qwen.ai) !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers...