stopwords-iso/stopwords-iso

📦 Bộ sưu tập stopwords đa ngôn ngữ chuẩn ISO 639-1

Tập trung cung cấp danh sách stopwords cho hơn 60 ngôn ngữ, tuân thủ chuẩn mã ngôn ngữ ISO 639-1.

stopwords-iso là một bộ sưu tập stopwords (từ dừng) phục vụ cho xử lý ngôn ngữ tự nhiên (NLP). Dự án hỗ trợ nhiều ngôn ngữ phổ biến như Anh, Pháp, Việt Nam, Trung, Nhật, Hàn, v.v., và tuân thủ chuẩn mã ISO 639-1 để dễ dàng tích hợp. Dữ liệu được cung cấp dưới định dạng JSON và có thể dùng trực tiếp trong Node.js hoặc Python.

✨ Điểm nổi bật

• Định dạng JSON: Dữ liệu được lưu trữ dưới dạng JSON, dễ dàng tải về và sử dụng.
• Hỗ trợ Node.js: Cài đặt qua npm hoặc bower, sử dụng bằng require('stopwords-iso').
• Hỗ trợ Python: Cài đặt qua pip, sử dụng qua module stopwordsiso.
• Tuân chuẩn ISO 639-1: Sử dụng mã ngôn ngữ chuẩn quốc tế để truy cập stopwords của từng ngôn ngữ.
• Nhiều ngôn ngữ: Hỗ trợ hơn 60 ngôn ngữ bao gồm cả tiếng Việt (vi).
• Kiểm tra ngôn ngữ: Hàm has_lang() trong Python giúp kiểm tra xem có stopwords cho ngôn ngữ nào không.
• Trả về tập hợp: Hàm stopwords() hỗ trợ truy xuất stopwords của một hoặc nhiều ngôn ngữ đồng thời.
• Tích hợp dễ dàng: Phù hợp với các dự án NLP, tìm kiếm, phân loại văn bản.

💡 Vì sao đáng chú ý

stopwords-iso khác biệt nhờ sự đồng nhất trong cách đặt tên theo chuẩn ISO và sự đa dạng ngôn ngữ hỗ trợ. Thay vì phải tìm kiếm hoặc tự tạo stopwords cho từng ngôn ngữ, bạn chỉ cần gọi một hàm với mã ngôn ngữ tương ứng. Dự án rất hữu ích cho các ứng dụng NLP, đặc biệt khi cần xử lý đa ngôn ngữ.

#Stopwords #NLP #JavaScript #Python #ISO639 #TiniX