olka-fi/Ornith-1.0-397B-MXFP4
Ornith-1.0-397B — MXFP4 (mixed precision) A 4-bit MXFP4 quantization of Ornith-1.0-397B(https://huggingface.co/deepreinforce-ai/Ornith-1.0-397B), produced with qstream(https://github.com/olka/qstream). Only the routed MoE experts (~95% of the weight...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#4 Repository Của Tháng
🦉 Ornith-1.0-397B — Bản đục MXFP4 4-bit siêu tiết kiệm, chỉ tinh chỉnh 95% trọng số
Quantize chỉ routed MoE experts, phần còn lại giữ nguyên BF16 bit-identical — giảm 72% dung lượng mà không mất chất lượng.
Đây là bản đục 4-bit MXFP4 của Ornith-1.0-397B, được tạo bằng qstream. Trong khi ~95% trọng số (routed MoE experts) được nén xuống MXFP4, tất cả thành phần nh delicate — bao gồm shared expert luôn bật, attention, vision encoder — đều giữ nguyên ở BF16 nguyên bản.
✨ Điểm nổi bật
- Giảm 72% kích thước: từ 793.6 GB xuống 225.9 GB, giữ nguyên 210 GiB trọng số
- Quantize thông minh: chỉ routed experts
*mlp.experts.*projđược nén MXFP4, phần còn lại giữ nguyên BF16 - Định dạng chuẩn: compressed-tensors
mxfp4-pack-quantized, per-expert, FP4 E2M1, group-32 e8m0 scales - Chất lượng được chứng minh: WikiText-2 PPL 5.21, GSM8K 97.5% độ chính xác
- SQNR ≈ 19 dB: lỗi tái tạo chỉ là rounding 4-bit không thể tránh khỏi
- Hỗ trợ vLLM: kiến trúc Qwen3_5Moe natively hỗ trợ từ vLLM ≥ 0.20.0
- Chạy trên 1 GPU lớn: verified trên NVIDIA B300 268 GB hoặc multi-GPU tensor parallelism
💡 Vì sao đáng chú ý
Phương pháp đây không phải là quantize bừa túi — nó phân tích kỹ kiến trúc MoE để tận dụng chỗ dễ nén nhất. Routed experts chỉ kích hoạt 10/512 nên nén 4-bit hết sức an toàn, trong khi shared expert chạy trên mỗi token nên giữ nguyên BF16 tránh tăng PPL. Đây là bản đục hiệu quả nhất cho mô hình 397B MoE hôa nghệ.
#Ornith #MXFP4 #Quantization #vLLM #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence Technical Report👁️ Introduction We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language models — DeepSeek-V4-Pro with 1.6T p...
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...