MiniMaxAI/MiniMax-M3-MXFP8
MiniMax-M3 is a native multimodal model with 1M context. It has ~428B parameters and ~23B activated parameters. Highlights: - Native Multimodality: M3 undergoes mixed-modality training from the very first step, enabling deeper semantic fusion across...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#2 Repository Của Tuần
🚀 MiniMax-M3-MXFP8 — Phiên bản MXFP8 tối ưu cho triển khai thực tế
Bản quantization MXFP8 của MiniMax-M3, giảm 90% bộ nhớ đồng thời duy trì chất lượng mô hình đa phương thức gốc.
MiniMax-M3-MXFP8 là phiên bản quantization MXFP8 của MiniMax-M3, một mô hình đa phương thức (multimodal) hỗn hợp với ngữ cảnh lên đến 1 triệu token. Mô hình gốc sở hữu khoảng 428 tỷ tham số và kích hoạt khoảng 23 tỷ tham số.
✨ Điểm nổi bật
- Quantized MXFP8: Giảm tiêu thụ bộ nhớ và tăng tốc suy luận mà không đáng kể mất chất lượng.
- Native Multimodality: Huấn luyện đa dạng thứ tự từ đầu, hỗ trợ kết hợp ngữ nghĩa sâu rộng giữa văn bản, hình ảnh và video.
- MiniMax Sparse Attention (MSA): Tối ưu cho ngữ cảnh dài, tăng tốc 9x prefill và 15x decode so với M2 tại 1M token.
- Sparsity Compute Reduction: Giảm tính toán mỗi token xuống còn 1/20 nhờ cơ chế chú ý thưa.
- Three Reasoning Modes: Hỗ trợ
enabled,adaptive,disabledthông qua tham sốthinking. - Coding & Cowork: Đạt hiệu suất hàng đầu trên các benchmark dài hạn liên quan đến agentic và lập trình.
- Hỗ trợ khung inference: Tương thích SGLang, vLLM và Transformers.
💡 Vì sao đáng chú ý
Khác với các mô hình quantization khác, MiniMax-M3-MXFP8 kết hợp MSA để duy trì hiệu năng tốt ngay cả ở ngữ cảnh 1M token. Đây là lựa chọn lý tưởng cho các ứng dụng cần xử lý nội dung đa phương thức dài hạn như phân tích video, tóm tắt tài liệu lớn hoặc phát triển agent thông minh.
#MiniMaxAI #MXFP8 #Multimodal #SparseAttention #QuantizedAI #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
LocateAnything: Fast and High-Quality Vision-Language Grounding with Parallel Box Decoding 🔗 Quick Links 🚀 Online Demo: LocateAnything (Hugging Face Spaces)(https://huggingface.co/spaces/nvidia/LocateAnything) 💻 GitHub Code: NVlabs/Eagle/Embodied...