Qwen/Qwen3.8-Flash-Next
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Ngày
#2 Repository Của Ngày
#6 Repository Của Ngày
🚀 Qwen3.8-Flash-Next: Bước đệm thông minh hướng tới Qwen4
Kiến trúc thử nghiệm mở điểm cho Qwen4 với tối ưu tinh thần tính toán và bộ nhớ.
Qwen3.8-Flash-Next là bản xem trước thử nghiệm của kiến trúc sẽ nền tảng cho Qwen4. Dự án tái thiết kế tương tác giữa các thành phần cốt lõi LLM quy mô lớn, tập trung vào hiệu suất tính toán và bộ nhớ. Mô hình hỗ trợ định dạng Transformers Hugging Face, tương thích vLLM, SGLang, TokenSpeed.
✨ Điểm nổi bật
- Hybrid Attention với QSA: Gated DeltaNet ghép Qwen Sparse Attention xử lý theo micro-block, giảm đáng kể độ trễ ngữ cảnh dài.
- Gated Residual: Điều chỉnh luồng thông tin qua cổng đọc và ghi, tăng biểu diễn tinh vi mà vẫn ổn định huấn luyện.
- N-gram Embedding: Chỉ số hóa bigram/trigram tiết kiệm bộ nhớ, tối ưu cho thiết bị hạn chế.
- Công thức huấn luyện tùy biến: Dùng Muon và AdamW riêng biệt cho từng nhóm trọng số, bỏ qua warmup batch size truyền thống.
- Kiến trúc MoE quy mô lớn: 512 chuyên gia, kích hoạt 10+1, hỗ trợ khả năng biểu diễn đa dạng.
- Độ dài ngữ cảnh khổng lồ: Hỗ trợ 262.144 token bản địa, có thể mở rộng tới 1.000.000 token.
- Hỗ trợ công cụ: Tích hợp MTP 1 lớp, huấn luyện đa bước cho dự báo đa token.
💡 Vì sao đáng chú ý
Qwen3.8-Flash-Next khác biệt so với các mô hình truyền thống nhờ kết hợp QSA và Gated Residual, giảm độ trể tính toán trong ngữ cảnh dài mà không cần đổi mới MoE truyền thống. N-gram Embedding cung cấp trục mở rộng tham số mới, thay thế MoE trong môi trường bộ nhớ hạn chế. Phù hợp cho nghiên cứu AGI và các tác vụ đa tác nhân cần ngữ cảnh dài.
#Qwen #Qwen3.8FlashNext #LLM #AGI #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
📰 Tech Blog | 📄 Paper 0. Changelog - 2026.1.29: - The default system prompt might cause confusion to users and unexpected behaviours, so we remove it. - The token is incorrect; it has bee...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...