Jackrong/DeepSeek-V4-Pro-Qwen3.5-9B-MTP-GGUF
🧠 DeepSeek-V4-Pro-Qwen3.5-9B Distillation Release A compact 9B reasoning model distilled from DeepSeek-V4-Pro in Max Effect mode 🔬 DeepSeek-V4-Pro Distillation 🧠 9B Parameters 📐 ~250K Math & STEM Samples ⚡ MTP & NVFP4 Evaluated 💡 What i...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🧠 DeepSeek-V4-Pro-Qwen3.5-9B — Reasoning mạnh trong gói 9B nhỏ gọn
Một mô hình reasoning 9B được distill từ DeepSeek-V4-Pro, tập trung vào toán học và STEM.
DeepSeek-V4-Pro-Qwen3.5-9B là bản fine-tune reasoning dựa trên Qwen3.5-9B, học từ các phản hồi của DeepSeek-V4-Pro ở chế độ Max Effect. Dự án tập trung tín hiệu supervised vào giải quyết toán học và STEM, giữ hiệu quả triển khai thực tế của lớp mô hình 9 tỷ tham số.
✨ Điểm nổi bật
- Structured Reasoning: Học cách phân tích vấn đề đa bước từ giáo viên mẫu mạnh.
- Math & STEM Focus: Khoảng 250.000 mẫu huấn luyện tập trung vào toán học và lý luận khoa học.
- Cross-Domain Transfer: Đạt cải thiện nhỏ về lập trình và sử dụng công cụ dù không có dữ liệu SFT chuyên coding.
- Practical Deployment: Được đánh giá qua vLLM NVFP4 và llama.cpp MTP-Q8_0.
💡 Vì sao đáng chú ý
Dự án khác biệt ở việc dùng kỹ thuật distillation từ DeepSeek-V4-Pro để mang lại khả năng reasoning mạnh trong mô hình chỉ 9B. Phù hợp cho các ứng dụng cần giải quyết toán học và STEM với yêu cầu tính toán nhẹ.
#DeepSeek #Qwen3.5 #Distillation #Reasoning #Math #STEM #TiniX
Similar Projects
Discover other similar projects and AI models.
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
BigScience Large Open-science Open-access Multilingual Language Model Version 1.3 / 6 July 2022 Current Checkpoint: Training Iteration 95000 Link to paper: here(https://arxiv.org/abs/2211.05100) Total seen tokens: 366B --- Model Details BLOOM is an...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
GLM-5.2 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.2 blog and GLM-5 Technical report. 📍 Use GLM-5.2 API services on Z.ai API Platform. 🔜 Try GLM-5.2 here. Paper GitHub Introduction We're introducing GLM-5.2, our latest flagshi...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...