LSYS/LexicalRichness

📚 LexicalRichness — Thước đo độ phong phú từ vựng trong văn bản bằng Python

Một module Python nhỏ gọn để tính toán độ phong phú ngôn ngữ (lexical richness) – tức là sự đa dạng từ vựng trong một đoạn văn bản.

LexicalRichness là một thư viện Python nhẹ, chuyên dùng để đo lường độ phong phú ngôn ngữ (cũng gọi là độ đa dạng từ vựng) trong văn bản. Dự án hỗ trợ hơn 15 chỉ số phổ biến như TTR, RTTR, CTTR, MSTTR, MATTR, MTLD, HD-D, VocD, Herdan, Summer, Dugast, Maas, Yule’s K/I, Simpson’s D… và cách dùng rất đơn giản chỉ với một vài dòng lệnh.

✨ Điểm nổi bật

• Tính toán nhiều chỉ số độ phong phú từ vựng: Hỗ trợ hơn 15 chỉ số như TTR, MTLD, HD-D, VocD, Yule’s K, Simpson’s D...
• Cài đặt đa dạng: Hỗ trợ cài qua pip, conda-forge hoặc cài đặt thủ công từ GitHub.
• Tích hợp sẵn tiền xử lý và tách từ: Cung cấp bộ xử lý và tokenizer mặc định để bắt đầu nhanh.
• Hỗ trợ pipeline NLP tùy biến: Cho phép kết hợp dễ dàng với bất kỳ hệ thống tiền xử lý và phân đoạn từ nào do người dùng định nghĩa.
• Dễ sử dụng: Chỉ cần khởi tạo đối tượng LexicalRichness(text) và gọi thuộc tính hoặc phương thức tương ứng.
• Mở rộng và linh hoạt: Hỗ trợ cả tokenizer của TextBlob nếu cần thiết.

💡 Vì sao đáng chú ý

LexicalRichness khác biệt ở sự đơn giản và tính toàn diện – nó tập hợp hầu hết các chỉ số độ phong phú từ vựng phổ biến trong một thư viện nhỏ gọn. Phù hợp cho các nhà nghiên cứu, lINGUIST, hoặc kỹ sư NLP muốn đánh giá nhanh chất lượng ngôn ngữ của văn bản trong các dự án như đo lường trình độ viết, kiến thức từ vựng, năng lực người nói, hay thậm chí là phân tích độ giàu từ vựng theo xã hội.

---

#LexicalRichness #Python #NLTK #NLP #LexicalDiversity #TextAnalysis #TiniX