philipjohnbasile/Qwen3.6-27B-Fable-Fusion-711-MTPLX-8bit
Fable-Fusion-711 27B — MTPLX 8-bit (native MTP + vision) MLX 8-bit build of DavidAU's Qwen3.6-27B Fable-Fusion-711 tune, packaged as a native MTPLX(https://mtplx.com) artifact: working multi-token-prediction head (bf16 sidecar + calibrated runtime c...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🚀 Qwen3.6-27B Fable-Fusion-711 — Bản dịch MLX 8-bit đầu tiên với MTP + Vision
Bản chuyển đổi MLX đầu tiên của Qwen3.6-27B Fable-Fusion-711, hỗ trợ giải mã đa token (MTP) và xử lý hình ảnh, được tối ưu cho chip Apple Silicon.
Đây là bản chuyển đổi MLX đầu tiên của mô hình Qwen3.6-27B Fable-Fusion-711 do DavidAU phát triển, được đóng gói dưới dạng artifact MTPLX với đầu giải mã đa token (MTP) hoạt động và bộ xử lý hình ảnh (vision tower). Bản dịch này duy trì độ chính xác gần bằng bf16 nhờ quantize 8-bit được lịch trình hóa cẩn thận.
✨ Điểm nổi bật
- Hỗ trợ MTP (Multi-Token Prediction): Đầu dự đoán đa token hoạt động ở độ chính xác cao, hỗ trợ speculative decoding.
- Xử lý hình ảnh (Vision): Tích hợp vision tower từ mmproj-BF16.gguf, hỗ trợ đầu vào hình ảnh thực tế.
- Tốc độ cao trên Apple Silicon: Đạt 50.7 token/s ở độ sâu MTP 3 (tức 2.8× so với autoregressive).
- Độ chính xác gần bằng bf16: Perplexity wikitext-2 đạt 5.7531, chỉ hơn bf16 0.0006 — trong ngưỡng độ không chắc.
- Đánh giá mã thực tế: Vượt qua 5/5 bài AIME và 8/8 bài eval lập trình thực thi.
- Tương thích MLX chuẩn: Có thể chạy bằng mlx_lm mà không cần MTP.
- Độc lập xác minh: Khớp cosine 0.99997 với bản sao F32 cùng cấu trúc từ nightmedia.
💡 Vì sao đáng chú ý
Bản chuyển đổi này không chỉ đơn thuần là quantize lại trọng số — mà còn là sự công nhận kỹ thuật phức tạp, bao gồm việc đảo ngược các phép biến đổi của llama.cpp (RMSNorm, Gated-DeltaNet value-head reorder, v.v.). Kết quả là một bản dựng hoạt động thực sự trên MTPLX, khai thác tối đa hiệu năng speculative decoding trên Apple Silicon. Phù hợp cho nghiên cứu MTP, creative writing, và các ứng dụng đa phương tiện.
#Qwen36 #MLX #AppleSilicon #SpeculativeDecoding #VisionModel #MultiTokenPrediction #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
Qwen3.5-9B !Qwen Chat(https://img.shields.io/badge/%F0%9F%92%9C%EF%B8%8F%20Qwen%20Chat%20-536af5)(https://chat.qwen.ai) !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers...