philipjohnbasile/Qwen3.6-27B-Fable-Fusion-711-MTPLX-6bit
Fable-Fusion-711 27B — MTPLX 6-bit (native MTP + vision) MLX 6-bit build of DavidAU's Qwen3.6-27B Fable-Fusion-711 tune, packaged as a native MTPLX(https://mtplx.com) artifact: working multi-token-prediction head (bf16 sidecar + calibrated runtime c...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Ngày
#1 Repository Của Ngày
#1 Repository Của Ngày
🚀 Qwen3.6-27B Fable-Fusion-711 — Bản dựng MTPLX 6-bit với MTP gốc và hỗ trợ thị giác
Bản chuyển đổi MLX 6-bit đầu tiên của Fable-Fusion, kết hợp đầu multi-token-prediction (MTP) hoạt động và tháp thị giác (vision tower), được tối ưu cho Apple Silicon.
Đây là bản dựng MLX 6-bit của Qwen3.6-27B Fable-Fusion-711 do DavidAU phát hành, được đóng gói dưới dạng artifact MTPLX nguyên bản. Bản dựng này bao gồm đầu dự đoán đa token (MTP) hoạt động với hợp đồng thời gian chạy bf16 + hiệu chuẩn, cùng tháp thị giác hỗ trợ đầu vào hình ảnh. Tổng kích thước mô hình là 23.6 GB.
✨ Điểm nổi bật
- Multi-token-prediction (MTP) gốc: Đầu MTP hoạt động với sidecar bf16 và hợp đồng thời gian chạy được hiệu chuẩn, hỗ trợ giải mã dự đoán đúng cho speculative decoding.
- Hỗ trợ thị giác: Tháp thị giác (vision tower) được tích hợp, cho phép xử lý đầu vào dạng hình ảnh.
- Tối ưu cho Apple Silicon: Được chuyển đổi bằng MLX, chạy trên nền tảng chip Apple (M-series).
- Định dạng 6-bit: Mô hình được nén lượng tử hóa 6-bit, giảm kích thước bộ nhớ và tăng tốc suy luận.
- Tích hợp MTPLX: Được đóng gói như một artifact MTPLX, hỗ trợ các công cụ như
mtplx tune,mtplx servevà quy trình đo lường trực tiếp. - Đo lường hiệu năng cụ thể: Đã công bố kết quả đo lường trên M5 Max với các chỉ số tok/s rõ ràng.
💡 Vì sao đáng chú ý
Đây là lần đầu tiên một bản chuyển đổi MLX nào của Fable-Fusion được thực hiện, mở ra khả năng chạy mô hình trên phần cứng Apple một cách hiệu quả. Sự kết hợp giữa MTP và tháp thị giác giúp mô hình vừa tăng tốc sinh token thông qua speculative decoding, vừa xử lý đa dạng đầu vào (văn bản + hình ảnh). Kết quả đo lường cho thấy tốc độ tăng đáng kể với độ sâu MTP tăng dần, đặc biệt hữu ích cho các ứng dụng cần sinh nội dung nhanh trên thiết bị.
#Qwen36 #MLX #MTPLX #SpeculativeDecoding #AppleSilicon #TiniX
Similar Projects
Discover other similar projects and AI models.
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
Qwen3.5-9B !Qwen Chat(https://img.shields.io/badge/%F0%9F%92%9C%EF%B8%8F%20Qwen%20Chat%20-536af5)(https://chat.qwen.ai) !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers...
🌟 Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled 🔥 Update (April 5): I’ve released the complete training notebook, codebase, and a comprehensive PDF guide to help beginners and enthusiasts understand and reproduce this model's fine-tuning process...