NeuML/colbert-muvera-femto
ColBERT MUVERA Femto This is a PyLate(https://github.com/lightonai/pylate) model finetuned from neuml/bert-hash-femto(https://huggingface.co/neuml/bert-hash-femto) on the msmarco-en-bge-gemma unnormalized split(https://huggingface.co/datasets/lighto...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🧠 ColBERT MUVERA Femto — Mô hình tìm kiếm thông tin siêu nhẹ từ NeuML
Mô hình ColBERT MUVERA Femto là bản tinh chỉnh từ NeuML/bert-hash-femto bằng PyLate, huấn luyện trên bộ dữ liệu MS MARCO để hỗ trợ truy xuất thông tin dựa trên độ tương đồng câu.
Đây là mô hình được phát triển bởi nhóm NeuML, sử dụng công nghệ ColBERT và PyLate để thực hiện việc mã hóa câu và tính toán độ tương đồng thông qua hàm MaxSim. Mô hình được huấn luyện từ kỹ thuật Distillation trên 640.000 mẫu từ bộ dữ liệu lightonai/ms-marco-en-bge-gemma, phù hợp cho các tác vụ truy xuất thông tin nhẹ nhưng hiệu quả.
✨ Điểm nổi bật
- ColBERT: Kỹ thuật mã hóa bi-directional cho phép so sánh linh hoạt giữa truy vấn và tài liệu.
- PyLate: Thư viện hỗ trợ huấn luyện và triển khai các mô hình ColBERT.
- Distillation: Kỹ thuật huấn luyện từ mô hình lớn hơn để nén kiến thức vào mô hình nhỏ gọn.
- MaxSim: Hàm tính điểm tương đồng tối ưu cho truy xuất thông tin.
- bert-hash-femto: Mô hình nền nhẹ, được tinh chỉnh để giảm kích thước và tăng tốc độ.
- MS MARCO: Bộ dữ liệu huấn luyện lớn, đa dạng cho nhiệm vụ tìm kiếm.
💡 Vì sao đáng chú ý
Mô hình kết hợp lợi thế của ColBERT và PyLate để mang lại hiệu suất cao trong khi giữ kích thước nhỏ gọn, thích hợp triển khai trên môi trường có tài nguyên hạn chế. Kết quả đánh giá trên các bộ dữ liệu NanoFEVER, NanoDBPedia cho thấy khả năng truy xuất mạnh mẽ, đặc biệt với MaxSim_accuracy@10 lên đến 0.86 và MaxSim_mrr@10 đạt 0.6977.
#ColBERT #PyLate #SentenceSimilarity #InformationRetrieval #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
nomic-embed-text-v1.5: Resizable Production Embeddings with Matryoshka Representation Learning Blog(https://www.nomic.ai/blog/posts/nomic-embed-text-v1) | Technical Report(https://arxiv.org/abs/2402.01613) | AWS SageMaker(https://aws.amazon.com/mark...
FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...
all-mpnet-base-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 768 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using...
For more details please refer to our github repo: https://github.com/FlagOpen/FlagEmbedding BGE-M3 (paper(https://arxiv.org/pdf/2402.03216.pdf), code(https://github.com/FlagOpen/FlagEmbedding/tree/master/FlagEmbedding/BGEM3)) In this project, we intr...
sentence-transformers/paraphrase-multilingual-mpnet-base-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 768 dimensional dense vector space and can be used for tasks like clustering or semantic se...
SentenceTransformer based on BAAI/bge-base-en-v1.5 This is a sentence-transformers(https://www.SBERT.net) model finetuned from BAAI/bge-base-en-v1.5(https://huggingface.co/BAAI/bge-base-en-v1.5). It maps sentences & paragraphs to a 768-dimensional d...
The embedding model trained by Jina AI. jina-embeddings-v3: Multilingual Embeddings With Task LoRA Quick Start Blog(https://jina.ai/news/jina-embeddings-v3-a-frontier-multilingual-embedding-model/parameter-dimensions) | Azure(https://azuremarketplac...