nvidia/Qwen3-235B-A22B-Thinking-2507-NVFP4
Model Overview Description: The NVIDIA Qwen3-235B-A22B-Thinking-2507 NVFP4 model is the quantized version of Alibaba's Qwen3-235B-A22B-Thinking-2507 model, which is an auto-regressive language model that uses an optimized transformer architecture. F...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#2 Repository Của Tuần
🚀 Qwen3-235B-A22B-Thinking-2507 được NVIDIA "rút gọn" xuống 4-bit nhưng không mất sức
Bản định lượng NVFP4 từ NVIDIA giảm 3.4x dung lượng và bộ nhớ GPU, sẵn sàng chạy TensorRT-LLM trên Blackwell.
Đây là phiên bản định lượng NVFP4 của mô hình Qwen3-235B-A22B-Thinking-2507 (phiên bản suy nghĩ) do Alibaba phát triển, được NVIDIA xử lý bằng TensorRT Model Optimizer v0.41.0. Mô hình sử dụng kiến trúc Qwen3MoeForCausalLM, hỗ trợ độ dài ngữ cảnh lên đến 262.144 token, và được thiết kế để triển khai trong các hệ thống AI Agent, chatbot và RAG.
✨ Điểm nổi bật
- Định lượng NVFP4: Chuyển đổi trọng số và activation từ 16-bit xuống 4-bit, giảm 3.4x dung lượng đĩa và bộ nhớ GPU.
- Tối ưu hoặc cập nhật trọng số tuyến tính: Chỉ áp dụng định lượng cho các phép toán tuyến tính trong khối transformer.
- Hỗ trợ TensorRT-LLM: Tích hợp sẵn với TensorRT-LLM để tăng tốc suy luận trên GPU.
- Triển khai trên Blackwell: Tối ưu cho kiến trúc GPU Blackwell của NVIDIA.
- Bản quyền thương mại mở: Sẵn sàng cho cả sử dụng thương mại và phi thương mại.
- Độ dài ngữ cảnh siêu lớn: Hỗ trợ đến 262.144 token nguyên bản.
- Phiên bản ModelOpt v0.41.0: Được định lượng bẳng công cụ TensorRT Model Optimizer.
- Bộ dữ liệu đánh giá chuẩn: Được kiểm tra trên MMLU Pro, GPQA Diamond, LiveCodeBench V6, SciCode, AIME 2025.
💡 Vì sao đáng chú ý
Việc áp dụng định lượng NVFP4 giúp giảm đáng kể yêu cầu bộ nhớ mà không ảnh hưởng đáng kể đến độ chính xác, dựa trên kết quả đánh giá trên các bộ dữ liệu chuẩn. Đây là lựa chọn lý tưởng cho các nhà phát triển muốn triển khai mô hình ngôn ngữ lớn trong môi trường sản xuất với tài nguyên GPU hạn chế.
#NVFP4 #Qwen3 #TensorRT #ModelOpt #TextGeneration #TiniX
Similar Projects
Discover other similar projects and AI models.
Model Overview Description: Gemma 4 26B IT is an open multimodal model built by Google DeepMind that handles text and image inputs, can process video as sequences of frames, and generates text output. It is designed to deliver frontier-level perform...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Model Overview Description: Gemma 4 31B IT is an open multimodal model built by Google DeepMind that handles text and image inputs, can process video as sequences of frames, and generates text output. It is designed to deliver frontier-level perform...
Model Overview Description: The RadixArk Qwen3.8-27B-NVFP4 model is the quantized version of Qwen/Qwen3.8-27B(https://huggingface.co/Qwen/Qwen3.8-27B). The quantization was produced at RadixArk using NVIDIA Model Optimizer(https://github.com/NVIDIA/...
Model Overview Description: The NVIDIA Qwen3.6-35B-A3B-NVFP4 model is the quantized version of Alibaba's Qwen3.6-35B-A3B model, which is an auto-regressive language model that uses an optimized transformer architecture. For more information, please...
Model Overview Description: The NVIDIA Qwen3.6-27B NVFP4 model is the quantized version of Alibaba's Qwen3.6-27B model, which is an auto-regressive language model that uses an optimized transformer architecture. For more information, please check he...
Model Overview Description: DiffusionGemma 26B A4B IT is an open-weights multimodal generative model developed by Google DeepMind that processes text, image, and video inputs to produce text output via discrete diffusion. Built on the Gemma 4 26B A4...