Germany
oborchers/Fast_Sentence_Embeddings
Compute Sentence Embeddings Fast!
⚡ Tính nhúng câu nhanh, không cần GPU
fse: lên tới 500.000 câu/giây với CPU.
Fast Sentence Embeddings (fse) là thư viện Python mở rộng Gensim, tính vector câu/xuống cho tập dữ liệu lớn nhanh chóng. Dành cho bạn nếu Transformers chậm quá, dữ liệu to quá spacy, hay không có GPU.
✨ Điểm nổi bật
- Tốc độ cao: lên tới 500.000 câu/giây trên CPU.
- Ba thuật toán: Average, SIF, uSIF.
- Hỗ trợ mô hình HUB: glove-wiki-gigaword-50, word2vec-google-news-300...
- Tích hợp Gensim: hỗ trợ Word2Vec, FastText (OOV).
- Cython core: tốc độ tính toán nhanh, fallback numpy khi thiếu.
- Streaming bộ nhớ: ram-to-disk, disk-to-disk cho dữ liệu lớn.
- Định dạng input tối ưu: IndexedList, hỗ trợ batch.
💡 Vì sao đáng chú ý
fse tập trung tốc độ hoá quá trình tính vector câu bằng CPU, phù hợp cho hệ thống không có GPU hoặc dữ liệu quá lớn cho Transformers. Chỉ với vài dòng code, người dùng có thể tải mô hình pretrained từ Hugging Face Hub và tính độ tương đồng giữa câu.
#Python #SentenceEmbeddings #SIF #Gensim #TiniX
Similar Projects
Discover other similar projects and AI models.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
For more details please refer to our github repo: https://github.com/FlagOpen/FlagEmbedding BGE-M3 (paper(https://arxiv.org/pdf/2402.03216.pdf), code(https://github.com/FlagOpen/FlagEmbedding/tree/master/FlagEmbedding/BGEM3)) In this project, we intr...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
Using pre trained word embeddings (Fasttext, Word2Vec)
all-mpnet-base-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 768 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using...
nomic-embed-text-v1.5: Resizable Production Embeddings with Matryoshka Representation Learning Blog(https://www.nomic.ai/blog/posts/nomic-embed-text-v1) | Technical Report(https://arxiv.org/abs/2402.01613) | AWS SageMaker(https://aws.amazon.com/mark...
EmbeddingGemma model card Model Page: EmbeddingGemma(https://ai.google.dev/gemma/docs/embeddinggemma) Resources and Technical Documentation: Responsible Generative AI Toolkit(https://ai.google.dev/responsible) EmbeddingGemma on Kaggle(https://www.ka...
Multilingual-E5-small Multilingual E5 Text Embeddings: A Technical Report(https://arxiv.org/pdf/2402.05672). Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 12 layers and the embedding size is...
sentence-transformers/paraphrase-multilingual-mpnet-base-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 768 dimensional dense vector space and can be used for tasks like clustering or semantic se...