cyankiwi/Qwen3.8-Flash-Next-AWQ-INT4
Version 26.05.01 Calibration STEM and Agentic Languages EN ZH HI AR RU JA KO NL FR ES Model Size 188.29 GB Contact Email --- Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hu...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#3 Repository Của Tuần
#5 Repository Của Tuần
#6 Repository Của Tuần
🚀 Qwen3.8-Flash-Next AWQ-INT4 – Phiên bản nén siêu nhẹ của kiến trúc Qwen4
Bản nén AWQ-INT4 từ Qwen3.8-Flash-Next, giảm 188GB xuống nhỏ gọn, vẫn giữ nguyên hiệu suất đa ngôn ngữ và khả năng reasoning.
Đây là mô hình trọng lượng mở (open-weight) phiên bản post-trained của Qwen3.8-Flash-Next, được nén bằng kỹ thuật AWQ-INT4. Dựa trên kiến trúc Qwen4, mô hình kết hợp vision encoder và ngôn ngữ lớn hỗ trợ 10 ngôn ngữ: EN, ZH, HI, AR, RU, JA, KO, NL, FR, ES. Tương thích với Hugging Face Transformers, vLLM, SGLang, TokenSpeed.
✨ Điểm nổi bật
- Nén AWQ-INT4: Giảm kích thước mô hình xuống đáng kể, phù hợp triển khai trên phần cứng có giới hạn bộ nhớ.
- Hỗ trợ đa ngôn ngữ: Bao gồm 10 ngôn ngữ chính thế giới, phù hợp ứng dụng toàn cầu.
- Hybrid Attention với QSA: Kết hợp Gated DeltaNet và Qwen Sparse Attention vận hành ở mức micro-block, cải thiện đáng kể độ trễ ngữ cảnh dài.
- Gated Residual: Điều chỉnh luồng thông tin qua cổng đọc và ghi, tăng biểu biên mạnh mà vẫn ổn định huấn luyện.
- N-gram Embedding: Cơ chế nhúng dựa trên n-gram hỗ trợ mở rộng tham số hiệu quả cho thiết bị có bộ nhớ hạn chế.
- Công thức huấn luyện tối ưu: Sử dụng Muon và AdamW cho các nhóm trọng số khác nhau, loại bỏ warmup batch-size truyền thống.
- Pipeline image-text-to-text: Hỗ trợ xử lý đầu vào đa dạng: văn bản + hình ảnh.
- Tương thích đa nền tảng: Chạy được trên Transformers, vLLM, SGLang, TokenSpeed.
💡 Vì sao đáng chú ý
Qwen3.8-Flash-Next AWQ-INT4 là bước đệm thực tế hướng tới Qwen4, mang lại kiến trúc mới với Hybrid Attention, Gated Residual và N-gram Embedding. Nhờ nén AWQ-INT4, mô hình giảm tải bộ nhớ mà vẫn duy trì hiệu năng reasoning đa ngôn ngữ. Phù hợp cho các ứng dụng agentic, STEM, và triển khai trên GPU consumer hoặc môi trường edge.
#Qwen #AWQ #INT4 #LLM #OpenSource #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
📰 Tech Blog | 📄 Paper 0. Changelog - 2026.1.29: - The default system prompt might cause confusion to users and unexpected behaviours, so we remove it. - The token is incorrect; it has bee...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...