BAAI/bge-m3
For more details please refer to our github repo: https://github.com/FlagOpen/FlagEmbedding BGE-M3 (paper(https://arxiv.org/pdf/2402.03216.pdf), code(https://github.com/FlagOpen/FlagEmbedding/tree/master/FlagEmbedding/BGEM3)) In this project, we intr...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Ngày
🌍 BGE-M3: Mô hình nhúng đa chức năng, đa ngôn ngữ và đa quy mô
BGE-M3 đưa cả dense retrieval, sparse retrieval và multi-vector retrieval vào một mô hình duy nhất.
BGE-M3 (BAAI/bge-m3) là một mô hình nhúng câu (sentence embedding) mã nguồn mở, được phát triển bởi nhóm nghiên cứu FlagOpen. Khác với các mô hình truyền thống chỉ tập trung vào một phương pháp truy xuất, BGE-M3 được thiết kế để đồng thời hỗ trợ ba chức năng chính: dense retrieval, multi-vector retrieval và sparse retrieval. Mô hình hỗ trợ hơn 100 ngôn ngữ và có khả năng xử lý đầu vào đa dạng về độ dài, từ câu ngắn cho đến tài liệu dài lên đến 8192 token.
✨ Điểm nổi bật
- Multi-Functionality: Thực hiện đồng thời dense retrieval, multi-vector retrieval và sparse retrieval trong một mô hình.
- Multi-Linguality: Hỗ trợ hơn 100 ngôn ngữ khác nhau.
- Multi-Granularity: Xử lý được đầu vào từ câu ngắn đến tài liệu dài 8192 token.
- Hybrid retrieval: Tích hợp trọng số token (giống BM25) khi sinh embedding dense mà không tốn chi phí thêm.
- Unified fine-tuning: Được tinh chỉnh thống nhất từ ba phương pháp: dense, sparse và colbert.
- Hỗ trợ công cụ: Tương thích với Vespa, Milvus và text-embeddings-inference.
- Kết quả đánh giá xuất sắc: Đạt hiệu suất hàng đầu trên bảng đánh giá MIRACL và các benchmark đa ngôn ngữ.
💡 Vì sao đáng chú ý
BGE-M3 khác biệt so với các mô hình nhúng truyền thống bằng cách kết hợp đa dạng phương pháp truy xuất trong một kiến trúc thống nhất. Điều này giúp giảm đáng kể chi phí triển dụng và nâng cao độ chính xác trong các hệ thống RAG (Retrieval-Augmented Generation). Gợi ý sử dụng: kết hợp hybrid retrieval + re-ranking để tận dụng tối đa hiệu suất. Phù hợp cho các ứng dụng tìm kiếm đa ngôn ngữ, hệ thống truy xuất tài liệu lớn và các pipeline RAG hiệu quả.
#SentenceTransformers #PyTorch #ONNX #XLMRoberta #MultiLingual #RAG #TiniX
Similar Projects
Discover other similar projects and AI models.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...
all-mpnet-base-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 768 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using...
nomic-embed-text-v1.5: Resizable Production Embeddings with Matryoshka Representation Learning Blog(https://www.nomic.ai/blog/posts/nomic-embed-text-v1) | Technical Report(https://arxiv.org/abs/2402.01613) | AWS SageMaker(https://aws.amazon.com/mark...
sentence-transformers/paraphrase-multilingual-mpnet-base-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 768 dimensional dense vector space and can be used for tasks like clustering or semantic se...
Multilingual-E5-large Multilingual E5 Text Embeddings: A Technical Report(https://arxiv.org/pdf/2402.05672). Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 24 layers and the embedding size is...
Multilingual-E5-small Multilingual E5 Text Embeddings: A Technical Report(https://arxiv.org/pdf/2402.05672). Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 12 layers and the embedding size is...
Multilingual-E5-base Multilingual E5 Text Embeddings: A Technical Report(https://arxiv.org/pdf/2402.05672). Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 12 layers and the embedding size is 7...