cyankiwi/Qwen3.5-35B-A3B-AWQ-4bit
Qwen3.5-35B-A3B !Qwen Chat(https://img.shields.io/badge/%F0%9F%92%9C%EF%B8%8F%20Qwen%20Chat%20-536af5)(https://chat.qwen.ai) !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transfor...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#8 Repository Của Tuần
🚀 Qwen3.5-35B-A3B-AWQ-4bit — Vision-Language mạnh, nhẹ nhưng không mất tính năng
Bản tin hóa học: Qwen3.5 biến 35B tham số thành mô hình đa phương thức thực chiến với context 1M token, đóng gói nguyên kiến trúc Gated DeltaNet + MoE đột phá, rồi nén cắt 4-bit AWQ để chạy trên GPU consumer.
Đây là bản cập nhật trọng lượng và cấu hình sau huấn luyện của Qwen3.5-35B-A3B, phiên bản image-text-to-text hỗ trợ Transformers, vLLM, SGLang, KTransformers. Mô hình kết hợp encoder thị giác và LM causal, huấn luyện sơ cấp và hậu cấp, bản quyền Apache-2.0. Tác giả là nhóm nghiên cứu Qwen (Alibaba), mục tiêu giúp dev triển khai ứng dụng đa phương thức từ lý thuyết tới thực chiến mà không cần infra lớn.
✨ Điểm nổi bật
- Unified Vision-Language Foundation: Huấn luyện fusion sớm trên token đa phương thức, đạt điểm đồng ngũ hóa với Qwen3 và vượt trội trên reasoning, coding, agents, visual understanding.
- Efficient Hybrid Architecture: Gated Delta Networks + sparse Mixture-of-Experts, inference throughput cao, độ trễ và chi phí thấp.
- Scalable RL Generalization: RL quy mô triệu môi trường agent, phân phối task tăng dần phức tạp, thích ứng thực tế tốt.
- Global Linguistic Coverage: Hỗ trợ 201 ngôn ngữ và phương ngữ, triển khai toàn cầu văn hóa và vùng miền.
- Next-Generation Training Infrastructure: Hiệu suất huấn luyện đa phương thức gần 100% so với text-only, framework RL bất đồng bộ hỗ trợ triển khai agent khổng lồ.
- Context siêu dài: 262,144 token bản địa, mở rộng lên 1,010,000 token.
- MoE mạnh mẽ: 256 chuyên gia, 8 định tính + 1 chia sẻ, chiều rộng trung gian 512.
- Nén AWQ 4-bit: Giảm dung lượng bộ trọng số, tối ưu chạy trên GPU consumer.
💡 Vì sao đáng chú ý
Không phải là bản đồ giảm tốc đơn thuần — Qwen3.5-35B-A3B-AWQ-4bit giữ nguyên toàn bộ kiến trúc hybrid (Gated DeltaNet + MoE + vision encoder) để đảm bảo chất lượng inference, đồng thời cắt giảm 4-bit AWQ giúp triển khai trên phần cứng hạn chế. Phù hợp cho các ứng dụng đa phương thứe cần reasoning mạnh, context siêu dài và hỗ trợ đa ngôn ngữ toàn cầu.
#Qwen3.5 #VisionLanguage #AWQ4bit #MixtureOfExperts #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Qwen3.6-35B-A3B !Qwen Chat(https://img.shields.io/badge/%F0%9F%92%9C%EF%B8%8F%20Qwen%20Chat%20-536af5)(https://chat.qwen.ai) !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transfor...