ContextualAI/gritlm

🚀 GritLM: Mô hình đa năng vừa sinh văn bản vừa tạo embedding

GritLM kết hợp instruction-tuning sinh tạo và embedding trong một mô hình thông qua GRIT.

GritLM là kết quả nghiên cứu Generative Representational Instruction Tuning (GRIT) từ ContextualAI. Thay vì huấn luyện riêng biệt cho hai nhiệm vụ sinh tạo và embedding, GritLM dùng instruction để phân biệt giữa chúng, cho phép một mô hình thực hiện cả hai hiệu quả. Mô hình đạt state-of-the-art trên Massive Text Embedding Benchmark (MTEB) và vượt trội so với các mô hình open-source cùng cỡ trên nhiều tác vụ sinh tạo.

✨ Điểm nổi bật

• GRIT (Generative Representational Instruction Tuning): Huấn luyện một mô hình vừng xử lý tác vụ sinh tạo vừng tạo embedding.
• Hỗ trợ cả GritLM-7B và GritLM-8x7B: Phiên bản lớn hơn yêu cầu nhiều GPU nhưng hiệu suất cao hơn.
• Tương thích với các mô hình khác: Hỗ trợ tải các mô hình như SGPT, Instructor thông qua tham số pooling_method.
• Tối ưu cho RAG: Tích hợp trực tiếp embedding và sinh tạo trong một mô hình, tăng tốc đến 60%.
• Caching hỗ dụp: Hỗ trợ lưu cache embedding để tăng tốc inference.
• Đánh giá đa dạng: Hỗ trợ đánh giá cả embedding và sinh tạo trên nhiều benchmark.

💡 Vì sao đáng chú ý

GritLM khác biệt từ các mô hình truyền thống bằng cách thống nhất hai giai đoạn xử lý thường được tách rời: embedding (truy xuất thông tin) và sinh tạo (tạo văn bản). Nhờ GRIT, mô hình học cách phân biệt chúng qua instruction mà không mất hiệu năng. Điều này đặc biệt hữu ích cho các hệ thống RAG, nơi cần cả truy xuất và sinh tạo — GritLM có thể thay thế cặp mô hình truyền thống, giảm đáng kể chi phí triển khai.

#GRIT #LLM #MTEB #RAG #OpenSource #TiniX