panggi/pujangga

🚀 Pujangga - Công cụ NLP tiếng Indonesia qua REST API

Pujangga là giao diện REST API cho InaNLP và Word2Vec của Deeplearning4j, hỗ trợ xử lý ngôn ngữ Indonesia (Bahasa Indonesia).

Pujangga là một dự án nguồn mở bằng Scala, cung cấp các API REST cho phép thực hiện các tác vụ xử lý ngôn ngữ tự nhiên (NLP) trên tiếng Indonesia. Dự án kết hợp giữa InaNLP và Word2Vec từ Deeplearning4j, hỗ trợ các chức năng như stemming, POS tagging, Named Entity Recognition, tokenization, sentence splitting và tính toán véc-tơ từ.

✨ Điểm nổi bật

• Stemmer: Loại bỏ hậu tố và tiền tố để chuẩn hóa từ về dạng gốc.
• Phrase Chunker: Phân đoạn câu thành các cụm cụm danh, động từ, giới từ.
• Part-of-Speech Tagger: Gán nhãn từ loại cho từng từ trong câu.
• Named-Entity Tagger: Nhận dạng thực thể như tên người, địa điểm.
• Formalizer: Chuyển đổi ngôn ngữ tự nhiên không trang trọng thành ngôn ngữ chính thức.
• Stopwords Removal: Lọc bỏ các từ dừng không mang nghĩa.
• Sentence Tokenizer & Splitter: Tách câu và từ, hỗ trợ từ ghép.
• Word2Vec Nearest Words & Arithmetic: Tính toán tương đồng từ và phép tính véc-tơ ngữ nghĩa.

💡 Vì sao đáng chú ý

Pujangga khác biệt ở chỗ tập trung riêng vào tiếng Indonesia, một ngôn ngữ chưa được hỗ trợ rộng rãi bởi các công cụ NLP chung. Với arsitektur REST API, dự án dễ dàng tích hợp vào các ứng dụng khác nhau. Đặc biệt, khả năng kết hợp Word2Vec cho phép thực hiện các phép toán ngữ nghĩa phức tạp như tìm từ gần nghĩa hoặc tính toán các mối quan hệ từ vựng.

---

#NaturalLanguageProcessing #Word2Vec #IndonesianLanguage #Scala #TiniX