YiXin-AILab/YiXin-Distill-Qwen-72B
YiXin-Distill-Qwen-72B Model Overview YiXin-Distill-Qwen-72B: A High-Performance Distilled Model for Mathematical and General Reasoning, derived from Qwen2.5-72B using reinforcement learning. It is specifically optimized for mathematical reasoning a...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#2 Repository Của Tháng
🧠 Mô hình AI mạnh 72B tối ưu lý luận toán học từ Qwen2.5
Rút gọn từ Qwen2.5-72B, tăng hiệu suất toán học và lý luận chung.
YiXin-Distill-Qwen-72B là một mô hình ngôn ngữ lớn với 72 tỷ tham số, được phát triển từ Qwen2.5-72B thông qua kỹ thuật rút gọn (distillation) và học tập củng cố (reinforcement learning). Mô hình được tối ưu hóa cho các nhiệm vụ lý luận toán học và kiến thức chung, đạt cải thiện trung bình 5–11 điểm phần trăm so với các mô hình tương đương.
✨ Điểm nổi bật
- Rút gọn đa giai đoạn: Sử dụng kỹ thuật rút gọn tiến triển hai giai đoạn để tinh luyện hiệu suất.
- Lọc dữ liệu thông minh: Dùng DeepSeek-R1 làm trọng tài đánh giá chất lượng dữ liệu.
- Xác thực toán học: Dữ liệu toán học được kiểm chứng logic và độ chính xác bởi mô hình phản biện.
- Tối ưu mẫu huấn luyện: Loại bỏ mẫu tự tin, tập trung cải thiện lỗi lý luận.
- Hỗ trợ đa ngôn ngữ: Bao gồm tiếng Trung, Anh, Pháp, Tây Ban Nha, Bồ Đào Nha, Đức, Ý, Nga, Nhật, Hàn, Việt, Thái và Ả Rập.
- Đánh giá vượt trội: Dẫn đầu MATH-500 (97.0), AIME-25 (73.3), MMLU-Pro (92.6).
💡 Vì sao đáng chú ý
Không chỉ là mô hình lớn, YiXin-Distill-Qwen-72B nổi bật nhờ quy trình rút gọn thông minh: liên tục loại bỏ các mẫu mô hình đã thành thạo và tập trung cải thiện những lỗi lý luận phổ biến. Kết hợp với khung lọc dữ liệu chặt chẽ và xác thực logic toán học, mô hình đạt kết quả xuất sắc trên các bài kiểm tra độ khó như MATH-500, GPQA, AIME và MMLU-Pro.
Phù hợp ứng dụng trong nghiên cứu toán học, hỗ trợ giáo dục STEM và các tác vụ đòi hỏi lý luận sâu ở đa ngôn ngữ.
#AI #Qwen #Distillation #MathReasoning #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
huihui-ai/Qwen2.5-72B-Instruct-abliterated This is an uncensored version of Qwen/Qwen2.5-72B-Instruct(https://huggingface.co/Qwen/Qwen2.5-72B-Instruct) created with abliteration (see remove-refusals-with-transformers(https://github.com/Sumandora/rem...
!Oxy 1 Small(https://cdn-uploads.huggingface.co/production/uploads/64fb80c8bb362cbf2ff96c7e/tTIVIblPUbTYnlvHQQjXB.png) Introduction Oxy 1 Small is a fine-tuned version of the Qwen/Qwen2.5-14B-Instruct(https://huggingface.co/Qwen/Qwen/Qwen2.5-14B-Inst...
Model Card for Aya 101 Model Summary The Aya model is a massively multilingual generative language model that follows instructions in 101 languages. Aya outperforms mT0(https://huggingface.co/bigscience/mt0-xxl) and BLOOMZ(https://huggingface.co/big...
GlotLID !GlotLID(https://img.shields.io/badge/🤗-Open%20In%20Spaces-blue.svg)(https://huggingface.co/spaces/cis-lmu/glotlid-space) Description GlotLID is a Fasttext language identification (LID) model that supports more than 2000 labels. Latest: Glo...
!logo.jpg(logo.jpg) Ivy-VL is a lightweight multimodal model with only 3B parameters. It accepts both image and text inputs to generate text outputs. Thanks to its lightweight design, it can be deployed on edge devices such as AI glasses and smartpho...
huihui-ai/Qwen2.5-32B-Instruct-abliterated This is an uncensored version of Qwen2.5-32B-Instruct(https://huggingface.co/Qwen/Qwen2.5-32B-Instruct) created with abliteration (see this article(https://huggingface.co/blog/mlabonne/abliteration) to know...
Finetune Llama 3.1, Gemma 2, Mistral 2-5x faster with 70% less memory via Unsloth! We have a Qwen 2.5 (all model sizes) free Google Colab Tesla T4 notebook(https://colab.research.google.com/drive/1Kose-ucXO1IBaZq5BvbwWieuubP7hxvQ?usp=sharing). Also...
Deductive-Reasoning-Qwen-32B !image/png(https://cdn-uploads.huggingface.co/production/uploads/674a1d102c0f27a385772cfe/JauBmEQM0FpOdShBMSfst.png) Deductive Reasoning Qwen 32B is a reinforcement fine-tune of Qwen 2.5 32B Instruct(https://huggingface....
Finetune Llama 3.1, Gemma 2, Mistral 2-5x faster with 70% less memory via Unsloth! We have a Qwen 2.5 (all model sizes) free Google Colab Tesla T4 notebook(https://colab.research.google.com/drive/1Kose-ucXO1IBaZq5BvbwWieuubP7hxvQ?usp=sharing). Also...