nomic-ai/nomic-embed-text-v1
nomic-embed-text-v1: A Reproducible Long Context (8192) Text Embedder Blog(https://www.nomic.ai/blog/posts/nomic-embed-text-v1) | Technical Report(https://arxiv.org/abs/2402.01613) | AWS SageMaker(https://aws.amazon.com/marketplace/seller-profile?id...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#2 Repository Của Ngày
🚀 nomic-embed-text-v1: Mô hình nhúng văn bản dài cực mạnh từ Nomic AI
Mô hình nhúng (embedder) tiếng Anh hỗ trợ ngữ cảnh lên đến 8192 token, được huấn luyện tối ưu cho bài toán tương đồng câu (sentence similarity) và các tác vụ đa dạng trên bộ chuẩn MTEB.
nomic-embed-text-v1 là một mô hình nhúng ngữ nghĩa (semantic text embedding) do Nomic AI phát triển, hỗ trợ xử lý văn bản dài đến 8192 token. Mô hình được thiết kế để tạo ra các vectơ đậng nghĩa, phục vụ trực tiếp cho các bài toán như tìm kiếm ngữ nghĩa, phân loại văn bản, gom cụm, xếp hạng lại (reranking), và đo độ tương đồng câu. Được huấn luyện theo tiêu chuẩn mở (reproducible) và đánh giá trên bộ chuẩn MTEB, nó là lựa chọn mạnh cho ứng dụng RAG, tìm kiếm thông tin và khai phá dữ liệu bất cấu.
✨ Điểm nổi bật
- Hỗ trợ ngữ cảnh dài: Xử lý văn bản lên đến 8192 token, phù hợp với tài liệu dài.
- Đánh giá trên MTEB: Hiệu suất cao trên hơn 30+ tác vụ bao gồm Classification, Retrieval, Clustering, Reranking, và STS.
- Tương thích đa nền tảng: Hỗ trợ chạy trên PyTorch, ONNX và Transformers.js — dùng trong môi trường Python lẫn JavaScript.
- Tích hợp sẵn trong Sentence-Transformers: Dễ dàng sử dụng thông qua thư viện
sentence-transformersphổ biến. - Kết quả xuất sắc trên tìm kiếm (Retrieval): Đạt MAP@10 lên đến 40.24 trên ArguAna, thể hiện khả năng truy hồi ngữ nghĩa mạnh.
- Hiệu suất tốt trên phân loại: Đạt accuracy 91.5% trên AmazonPolarity, 84.5% trên Banking77.
- Mã nguồn mở, bản quyền Apache 2.0: Tự do sử dụng cho cả ứng dụng thương mại và nghiên cứu.
💡 Vì sao đáng chú ý
Không chỉ là một mô hình nhúng đơn thuần, nomic-embed-text-v1 nổi bật nhờ khả năng tổng quát hóa cao trên nhiều domen và tác vụ khác nhau nhờ sự đa dạng của bộ dữ liệu huấn luyện. Đặc biệt, khả năng xử lý ngữ cảnh dài (8192 token) giúp mô hình vượt trội so với các mô hình cùng thời điểm chỉ hỗ trợ 512 hoặc 2048 token — rất cần thiết cho các bài toán tài liệu dài như hỗ trợ trả lời dựa trên tài liệu (QA over long docs).
Nhờ đó, nó trở thành lựa chọn lý tưởng cho các hệ thống RAG (Retrieval-Augmented Generation), nơi việc tìm kiếm đoạn văn liên quan từ tài liệu lớn là then chốt.
#TextEmbedding #SentenceSimilarity #RAG #MTEB #NomicAI #TiniX
Similar Projects
Discover other similar projects and AI models.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
nomic-embed-text-v1.5: Resizable Production Embeddings with Matryoshka Representation Learning Blog(https://www.nomic.ai/blog/posts/nomic-embed-text-v1) | Technical Report(https://arxiv.org/abs/2402.01613) | AWS SageMaker(https://aws.amazon.com/mark...
FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
all-mpnet-base-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 768 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using...
For more details please refer to our github repo: https://github.com/FlagOpen/FlagEmbedding BGE-M3 (paper(https://arxiv.org/pdf/2402.03216.pdf), code(https://github.com/FlagOpen/FlagEmbedding/tree/master/FlagEmbedding/BGEM3)) In this project, we intr...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
Multilingual-E5-small Multilingual E5 Text Embeddings: A Technical Report(https://arxiv.org/pdf/2402.05672). Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 12 layers and the embedding size is...
Multilingual-E5-base Multilingual E5 Text Embeddings: A Technical Report(https://arxiv.org/pdf/2402.05672). Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 12 layers and the embedding size is 7...