MakazhanAlpamys/Soup

🍜 Soup — Fine-tune LLM bằng một lệnh, không cần SSH hay cấu hình phức tạp

Fine-tune và post-train LLMs trong một lệnh duy nhức. Chỉ cần một file YAML và bạn đã xong.

Soup là một công cụ dòng lệnh (CLI) giúp đơn giản hóa quá trình fine-tuning và post-training các mô hình ngôn ngữ lớn (LLMs). Dùng cho cả mục đích cá nhân lẫn nhóm, Soup loại bỏ nhu cầu SSH vào máy GPU, cấu hình phức tạp hay mất thời gian chống chất lượng. Chỉ cần cài đặt và chạy soup train, mọi thứ từ batch size, phát hiện GPU, đến quantization đều được tự động xử lý.

✨ Điểm nổi bật

• Zero SSH: Không cần SSH vào máy chủ GPU nữa.
• One config: Chỉ cần một file YAML để cấu hình toàn bộ quá trình huấn luyện.
• Auto everything: Batch size, phát hiện GPU, quantization — tất cả đều tự động.
• Works locally: Hỗ trợ huấn luyện trên GPU cá nhân với QLoRA, không cần cloud.
• soup ship: Ra quyết định SHIP hoặc DON’T SHIP dựa trên cải thiện metric nhiệm vụ và ngưỡng quên (forgetting threshold).
• CI-gateable: Trả về mã lỗi 0 (SHIP), 2 (DON’T SHIP), 1 (lỗi thời gian chạy).
• Export đa định dạng: Hỗ trợ xuất GGUF, ONNX, TensorRT, AWQ, GPTQ, BitNet...
• Nhiều template hỗ trợ sẵn: chat, code, tool-calling, medical, reasoning, vision, rlhf, pretrain, embedding, audio...

💡 Vì sao đáng chú ý

Soup khác biệt ở chỗ nó biến quy trình fine-tuning LLM phức tạp thành một workflow đơn giản và có thể tự động hóa hoàn toàn. Đặc biệt, tính năng soup ship mang lại một cách tiếp cận mới trong việc đánh giá mô hình sau khi huấn luyện — không chỉ dựa trên một số liệu nhiệm vụ mà còn xét tới nguy cơ quên kiến thức chung. Đây là một bước tiến quan trọng so với các công cụ khác chỉ tập trung vào việc huấn luyện mà bỏ qua bài toán kiểm định chất lượng thực chiến.

#FineTuning #LLM #QLoRA #PyTorch #TiniX