sakamakismile/Qwen-AgentWorld-35B-A3B-NVFP4
Qwen-AgentWorld-35B-A3B-NVFP4 NVFP4 (W4A4) quantization of Qwen/Qwen-AgentWorld-35B-A3B(https://huggingface.co/Qwen/Qwen-AgentWorld-35B-A3B) — Qwen's language world model that simulates agentic environments. Packed to compressed-tensors NVFP4 so the...
🚀 Qwen-AgentWorld-35B-A3B được nén NVFP4 — World model mô phỏng môi trường agentic trên GPU Blackwell
Bản đồ NVFP4 (W4A4) của Qwen-AgentWorld-35B-A3B, giảm từ 69 GB xuống 21.9 GB, chạy trên vLLM mà không cần cờ --quantization.
Đây là bản nén NVFP4 (W4A4) của Qwen-AgentWorld-35B-A3B, mô hình thế giới ngôn ngữ mô phỏng môi trường agentic. Thay vì giải quyết nhiệm vụ, mô hình này dự đoán quan sát tiếp theo khi nhận được trạng thái và hành động, hỗ trợ huấn luyện và đánh giá agent trên 7 miền: MCP, Search, Terminal, SWE, Android, Web, OS.
✨ Điểm nổi bật
- NVFP4 (W4A4): Phương pháp nén group size 16, FP8-E4M3 scales, dung lượng 21.9 GB (từ 69 GB BF16)
- compressed-tensors: Sử dụng công cụ nén của neuralmagic, tự động phát hiện trên vLLM
- Blackwell (SM120): Tối ưu cho GPU Blackwell, TP=4 là cấu hình tối thiểu thoải mái
- Toàn bộ Linear: Bao gồm cả 30.720 projection của các chuyên gia MoE
- Giữ lại BF16: lm_head, vision tower Qwen3-VL, MoE routers, norms
- vLLM ≥ 0.22: Triển khai dịch vụ không cần cờ --quantization
- Reasoning model: Nghĩ trong thẻ trước khi phát sinh quan sát
- Hiệu năng: ~161 tok/s trên 4× RTX PRO 2000 Blackwell (16 GB)
💡 Vì sao đáng chú ý
Bản nén này giữ nguyên hành vi mô hình thế giới, ví dụ dự đoán output terminal hợp lệ (total, permission bits) hoặc kết quả tìm kiếm thực tế. Phù hợp cho huấn luyện agent trên môi trường mô phỏng an toàn, rẻ tiền hơn môi trường thực.
#NVFP4 #QwenAgentWorld #WorldModel #LLMCompression #vLLM #TiniX
Similar Projects
Discover other similar projects and AI models.
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence Technical Report👁️ Introduction We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language models — DeepSeek-V4-Pro with 1.6T p...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...