yangjianxin1/Firefly

🚀 Firefly: Công cụ huấn luyện LLM toàn diện, hỗ trợ trên 30 kiến trúc lớn

Một bộ công cụ huấn luyện LLM mã nguồn mở, hỗ trợ pretrain, SFT, DPO, đồng thời tích hợp Unsloth để tối ưu VRAM và tốc độ.

Firefly là một dự án huấn luyện lớn mã nguồn mở, hỗ trợ huấn luyện toàn bộ tham số, LoRA, và QLoRA. Dự án hỗ trợ ba giai đoạn chính: tiền huấn luyện (pretrain), tinh chỉnh theo hướng dẫn (SFT), và tối ưu theo phản hồi con người (DPO). Firefly tương thích với hơn 30 kiến trúc mô hình lớn phổ biến như Llama3, Qwen2, Yi-1.5, Gemma, MiniCPM, Baichuan2, và nhiều mô hình khác.

✨ Điểm nổi bật

• Hỗ trợ đa dạng kỹ thuật huấn luyện: Toàn bộ tham số, LoRA, QLoRA.
• Ba giai đoạn huấn luyện: Tiền huấn luyện, tinh chỉnh theo hướng dẫn, tối ưu DPO.
• Tích hợp Unsloth: Tăng tốc huấn luyện và giảm tiêu thụ VRAM.
• Hỗ trợ hơn 30 mô hình: Bao gồm Llama3, Qwen2, Yi-1.5, Gemma, MiniCPM, Baichuan2, và nhiều mô hình khác.
• Cấu hình dựa trên file: Dễ dàng chuyển đổi giữa các mô hình khác nhau.
• Kết quả trên Open LLM Leaderboard: firefly-mixtral-8x7b đạt 70.34 điểm, vượt trội hơn nhiều mô hình lớn khác.
• Dữ liệu huấn luyện mở: Bao gồm firefly-train-1.1M, moss-003-sft-data, ultrachat, WizardLM_evol_instruct_V2_143k.
• Mã nguồn mở trọng lượng: Các bản weights được công bố trên Hugging Face.

💡 Vì sao đáng chú ý

Firefly khác biệt nhờ khả năng hỗ trợ đồng thời nhiều kỹ thuật huấn luyện và nhiều kiến trúc mô hình khác nhau, khiến nó trở thành lựa chọn lý tưởng cho cả nghiên cứu và ứng dụng thực tế. Đặc biệt, sự tích hợp Unsloth giúp giảm đáng kể VRAM cần thiết, ví dụ như chỉ cần 7.75GB để huấn luyện Llama3-8B. Điều này mở ra khả năng huấn luyện mô hình lớn ngay cả trên phần cứng hạn chế.

#LLM #MachineLearning #OpenSource #LoRA #QLoRA #Unsloth #TiniX