Jackrong/Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-GGUF
🌟 Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled 🔥 Update (April 5): I’ve released the complete training notebook, codebase, and a comprehensive PDF guide to help beginners and enthusiasts understand and reproduce this model's fine-tuning process....
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🧠 Qwen3.5-4B được tinh chỉnh bởi lý luận Claude 4.6 Opus — suy luận chặt chẽ, từng bước
Mô hình tinh chỉnh Qwen3.5-4B với dữ liệu lý luận từ Claude 4.6 Opus, tập trung vào chuỗi suy luận từng bước và cấu trúc phản hồi rõ ràng.
Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled là một mô hình ngôn ngữ lớn được tinh chỉnh trên nền tảng Qwen3.5-4B thông qua kỹ thuật Supervised Fine-Tuning (SFT) kết hợp LoRA. Mục tiêu chính là đưa logic lý luận cao cấp từ Claude 4.6 Opus vào mô hình thông qua dữ liệu huấn luyện lọc chất lượng cao.
✨ Điểm nổi bật
- SFT + LoRA: Tinh chỉnh có giám sát kết hợp LoRA bằng Unsloth để tối ưu bộ nhớ và tính toán.
- train_on_responses_only: Chỉ tính toán loss trên phần phản hồi, bỏ qua phần lệnh.
- Cấu trúc suy luận rõ ràng: Tuân thủ định dạng
</think> {lý luận nội bộ} {trả lời cuối cùng}. - Dữ liệu huấn luyện chất lượng cao: Bao gồm nohurry/Opus-4.6-Reasoning-3000x-filtered và Jackrong/Qwen3.5-reasoning-700x.
- Tối ưu suy luận hiệu quả: Giảm lặp lại tư duy không cần thiết, duy trì khả năng phân tích sâu.
- Hướng dẫn chi tiết: Cung cấp notebook, mã nguồn và tài liệu PDF hướng dẫn từng bước.
💡 Vì sao đáng chú ý
Dự án này không chỉ tinh chỉnh mô hình mà còn làm rõ quy trình huấn luyện từ A-Z, giúp người mới bắt đầu dễ dàng tiếp cận. Với chiến lược distill sâu từ Claude 4.6 Opus, mô hình học được cách suy luận có cấu trúc, giảm thiểu vòng lặp tư duy lãng phí. Phù hợp cho các bài toán đòi hỏi logic phức tạp như toán học, khoa học và giải quyết vấn đề.
#Qwen3.5 #Claude4.6 #Reasoning #LoRA #Unsloth #OpenSource #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
🌟 Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled 🔥 Update (April 5): I’ve released the complete training notebook, codebase, and a comprehensive PDF guide to help beginners and enthusiasts understand and reproduce this model's fine-tuning process...
GLM-5.2 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.2 blog and GLM-5 Technical report. 📍 Use GLM-5.2 API services on Z.ai API Platform. 🔜 Try GLM-5.2 here. Paper GitHub Introduction We're introducing GLM-5.2, our latest flagshi...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...