France
raphaelsty/cherche
Neural Search
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#2 Repository Của Tháng
🔍 Cherche: Pipeline tìm kiếm thông minh dựa trên mô hình ngôn ngữ
Xây dựng pipeline tìm kiếm ngữ nghĩa end-to-end chỉ với vài dòng code.
Cherche là một thư viện Python cho phép phát triển pipeline tìm kiếm ngữ nghĩa (neural search) bằng cách kết hợp các bộ truy xuất (retrievers) và các mô hình ngôn ngữ tiền huấn luyện đóng vai trò cả truy xuất lẫn xếp hạng (rankers). Nhờ kiến trúc modular và hỗ trợ batch computation, Cherche phù hợp cả cho tìm kiếm thời gian thực lẫn tỏi và tìm kiếm offline trên lượng lớn tài liệu.
✨ Điểm nổi bật
- Retriever + Ranker kết hợp: Sử dụng BM25 để lọc nhanh, sau đó dùng mô hình ngữ nghĩa (ví dụ SentenceTransformers) để xếp hạng lại kết quả.
- Cài đặt linh hoạt: Hỗ trợ cài đặt nhẹ (CPU) hoặc đầy đủ (GPU) tùy nhu cầu sử dụng.
- Batch computation: Tối ưu cho tìm kiếm offline, xử lý đồng thời nhiều truy vấn.
- Nhiều loại retriever: Hỗ trợ TfIdf, BM25, Lunr, Flash, Fuzz, Encoder, DPR, Embedding.
- Tích hợp dễ dàng SentenceTransformers: Dùng mô hình ngôn ngữ để tính độ tương đồng ngữ nghĩa.
- Pipeline đơn giản: Kết nối retriever và ranker bằng toán tử
+, thêm tài liệu bằng.add()và tìm kiếm bằng danh sách truy vấn. - Trả về kết quả gắn metadata: Kết quả tìm kiếm bao gồm id, tiêu đề, URL và điểm độ tương đồng.
💡 Vì sao đáng chú ý
Khác với các giải pháp tìm kiếm truyền thống chỉ dựa trên từ khóa, Cherche kết hợp BM25 (tìm kiếm dựa trên từ khóa) với mô hình ngôn ngữ (tìm kiếm ngữ nghĩa), giúp tìm được kết quả chính xác ngay cả khi người dùng không dùng đúng từ khóa. Đặc biệt, Cherche hỗ trợ batch computation, rất thích hợp cho các ứng dụng cần xử lý lượng lớn dữ liệu như hệ thống kiến thức doanh nghiệp, công cụ tìm kiếm tài liệu nội bộ, hoặc công cụ hỗ trợ trả lời câu hỏi dựa trên tài liệu.
#NeuralSearch #Python #MachineLearning #SearchEngine #TiniX
Similar Projects
Discover other similar projects and AI models.
💡 All-in-one AI framework for semantic search, LLM orchestration and language model workflows
Easy-to-use and powerful LLM and SLM library with awesome model zoo.
MTEB: State-of-the-art evaluation of embeddings across languages and modalities
🔥 Rankify: A Comprehensive Python Toolkit for Retrieval, Re-Ranking, and Retrieval-Augmented Generation 🔥. Our toolkit integrates 40 pre-retrieved benchmark datasets and supports 7+ retrieval techniques, 24+ state-of-the-art Reranking models, and multiple RAG methods.
🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.
Next-generation full-text search library for Browser and Node.js
Open-source search database for full-text, vector, and hybrid search with real-time indexing and SQL.
roberta-base for Extractive QA This is the roberta-base(https://huggingface.co/roberta-base) model, fine-tuned using the SQuAD2.0(https://huggingface.co/datasets/squadv2) dataset. It's been trained on question-answer pairs, including unanswerable qu...
DistilBERT base cased distilled SQuAD Table of Contents - Model Details(model-details) - How To Get Started With the Model(how-to-get-started-with-the-model) - Uses(uses) - Risks, Limitations and Biases(risks-limitations-and-biases) - Training(train...