jingyaogong/minimind

🚀 MiniMind - Huấn luyện LLM siêu nhẹ từ 0 chỉ với 2 tiếng

MiniMind giúp bạn xây dựng một mô hình ngôn ngữ lớn (LLM) chỉ với ~64M tham số, chạy trọn trên cổ điển 3090 và chi phí dưới 3 USD.

MiniMind là dự án nghiên cứu mã nguồn mở từ 0, dùng PyTorch để huấn luyện một LLM nhỏ gọn (~64M) trong thời gian ngắn (~2h) và chi phí thấp (~3 USD). Dự án cung cấp toàn bộ quy trình huấn luyện từ Pretrain, SFT, LoRA, RLHF (DPO), RLAIF (PPO/GRPO/CISPO), Tool Use, Agentic RL, tới Adaptive Thinking và model distillation.

✨ Điểm nổi bật

• Cấu trúc nhỏ gọn: Dense (~64M) + MoE (~198M-A64M), tương thích Qwen3/MoE.
• Toàn bộ pipeline huấn luyện: Pretrain → SFT → LoRA → DPO → PPO/GRPO/CISPO → Tool Use → Agentic RL.
• Mã nguồn từ 0 bằng PyTorch: Không dựa trên transformers hay thư viện trừu tượng.
• Dữ liệu mở: Bao gồm dữ liệu pretrain, sft, rlaif, agent_rl và bản xác thực chất lượng cao.
• Tương thích hệ sinh thái: Hỗ trợ transformers, vllm, llama.cpp, ollama, Llama-Factory.
• Đánh giá & đường API: Đánh giá trên C-Eval, C-MMLU, OpenBookQA; API mở theo chuẩn OpenAI.
• WebUI Streamlit: Giao diện chat hỗ trợ suy nghĩ và gọi công cụ.
• Mở rộng thí nghiệm: Diffusion LM (dLM) và Linear Attention model.

💡 Vì sao đáng chú ý

MiniMind không chỉ là một dự án LLM mở, mà còn là một khóa học thực hành từ A-Z. Dự án loại bỏ sự phụ thuộc vào các framework trừu tượng, giúp người học tiếp cận trực tiếp vào cách hoạt động nội tại của LLM. Phù hợp cho cá nhân muốn nghiên cứu hoặc triển khai LLM trên phần cứng giới hạn.

#LLM #PyTorch #OpenSource #TiniX