China
ssbuild/qwen_finetuning
qwen models finetuning
🛠️ qwen_finetuning - Fine-tuning Qwen với LoRA/QLoRA/IA3/AdaLoRA
Công cụ hỗ trợ fine-tuning mô hình Qwen sử dụng các kỹ thuật LoRA, QLoRA, IA3 và AdaLoRA.
Dự án qwen_finetuning của ssbuild cung cấp một giải pháp để tinh chỉnh (fine-tuning) các mô hình ngôn ngữ lớn Qwen một cách hiệu quả thông qua các kỹ thuật tinh chỉnh mẹo (parameter-efficient fine-tuning - PEFT). Điều này cho phép người dùng điều chỉnh mô hình cho các nhiệm vụ cụ thể mà không cần huấn luyện lại toàn bộ tham số.
✨ Điểm nổi bật
- Hỗ trợ đa dạng phương pháp PEFT: Bao gồm LoRA, QLoRA, IA3 và AdaLoRA, cung cấp linh hoạt trong việc lựa chọn kỹ thuật tinh chỉnh phù hợp.
- Tích hợp với Qwen: Tối ưu hoá cho các mô hình ngôn ngữ lớn Qwen, hỗ trợ việc tinh chỉnh hiệu quả.
- Tiết kiệm tài nguyên: Sử dụng các kỹ thuật PEFT giúp giảm đáng kể số lượng tham số cần điều chỉnh, tiết kiệm bộ nhớ và thời gian tính toán.
- Dễ sử dụng: Cung cấp cấu hình đơn giản và dễ thiết lập cho người dùng.
💡 Vì sao đáng chú ý
Dự án này nổi bật bằng sự hỗ trợ đa dạng các kỹ thuật PEFT, cho phép người dùng lựa chọn phương pháp phù hợp nhất với nhu cầu và tài nguyên của mình. Thay vì huấn luyện lại toàn bộ mô hình, các kỹ thuật như LoRA và QLoRA chỉ thêm một số lượng nhỏ tham số có thể điều chỉnh, giúữ cho quá trình tinh chỉnh trở nên nhanh chóng và hiệu quả.
#Qwen #LoRA #FineTuning #MachineLearning #TiniX
Similar Projects
Discover other similar projects and AI models.
Agent Reinforcement Trainer: train multi-step agents for real-world tasks using GRPO. Give your agents on-the-job training. Reinforcement learning for Qwen3.6, GPT-OSS, Llama, and more!
Fine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GPU.
Firefly: 大模型训练工具，支持训练Qwen2.5、Qwen2、Yi1.5、Phi-3、Llama3、Gemma、MiniCPM、Yi、Deepseek、Orion、Xverse、Mixtral-8x7B、Zephyr、Mistral、Baichuan2、Llma2、Llama、Qwen、Baichuan、ChatGLM2、InternLM、Ziya2、Vicuna、Bloom等大模型
《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调（全参数/Lora）、部署国内外开源大模型（LLM）/多模态大模型（MLLM）教程
Qwen-Image-Edit-2511-Multiple-Angles-LoRA Multi-angle camera control LoRA for Qwen-Image-Edit-2511 96 camera positions • Trained on 3000+ Gaussian Splatting renders • Built with fal.ai(https://fal.ai) --- Results !Camera Animation Results(allanimati...
Please refer to Qwen-Image-Lightning github(https://github.com/ModelTC/Qwen-Image-Lightning/) to learn how to use the models. use with diffusers 🧨: make sure to install diffusers from main (pip install git+https://github.com/huggingface/diffusers.gi...
Local UI to run and train LLMs and diffusion models. Supports GGUF, MLX, Qwen3.8, DeepSeek-V4.1, MiniMax-H3, Gemma 4, FLUX and more.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...