dperezrada/keywords2vec

🔍 keywords2vec: Word2vec nhưng với từ khóa đa từ thông minh

Tạo mô hình word2vec từ từ khóa đa từ thay vì từ đơn — nhanh, đơn giản và đa ngôn ngữ.

keywords2vec là một thư viện Python giúp xây dựng mô hình word2vec sử dụng các từ khóa đa từ (multi-word keywords) thay vì các từ đơn. Dự án ra đời từ cơ sở dữ liệu Epistemonikos — nơi người dùng cần tìm kiếm các khóa học chính xác trong báo cáo khoa học y tế. Thay vì dùng n-grams truyền thống, keywords2vec dùng stopword và ký tự phi từ để tách câu thành các cụm từ khóa có nghĩa.

✨ Điểm nổi bật

• Tách từ khóa bằng stopword + ký tự phi từ: Tự động tách câu thành các cụm từ khóa logic như “acute renal failure”.
• Hỗ trợ từ khóa chứa stopword: Dùng thêm phương phương pháp nltk với ngữ pháp để xử lý từ khóa như “Vitamin A”, “Hepatitis A”.
• Tìm từ khóa tương tự: Hàm get_similars trả về danh sách từ khóa gần nghĩa với từ khóa đầu vào.
• Đa ngôn ngữ: Hỗ trợ tiếng Anh, tiếng Tây Ban Nha và tiếng Bồ Đào Nha.
• Kích thước từ vựng nhỏ gọn: Chỉ 350,529 từ khóa so với hàng triệu từ trong n-grams truyền thống.
• Dễ cài đặt: pip install keywords2vec.
• Tích hợp với word2vec: Dựa trên mô hình word2vec để học biểu diễn vectơ của từ khóa.

💡 Vì sao đáng chú ý

Keywords2vec khác biệt so với các phương pháp truyền thống như n-grams hay TF-IDF ở chỗ nó tận dụng stopword như một công cụ tách từ khóa thông minh — gần giống với ý tưởng chinking trong NLP. Phương pháp này giúp giảm đáng kể kích thước từ vựng đồng thời giữ lại các cụm từ khóa có nghĩa thực sự. Đặc biệt hiệu quả trong lĩnh vực y tế, khoa học, nơi từ khóa thường dài và phức tạp.

---

#NLP #TextMining #PhraseExtraction #KeywordsExtraction #MultiLanguage #TiniX