clipperhouse/uax29

🔍 Tokenizer UAX #29 cho Go: Phân đoạn chính xác trên Unicode 17

Tuân thủ tiêu chuẩn Unicode, hỗ trợ đa ngôn ngữ và kiểm thử chính thức.

Dự án uax29 là một thư viện Go cung cấp tokenizer dựa trên tiêu chuẩn phân đoạn văn bản Unicode (UAX #29), hỗ trợ Unicode 17. Nó cho phép tách văn bản thành các đơn vị ngữ nghĩa như từ, câu, câu văn (graphemes) và câu frase (phrases), phù hợp cho các ứng dụng NLP và xử lý ngôn ngữ tự nhiên.

✨ Điểm nổi bật

• Tách từ: Dùng cho chỉ mục nghịch thứ tự, tìm kiếm toàn văn, TF-IDF, BM25, embedding.
• Tách câu: Hữu ích khi đơn vị ngữ nghĩa là câu hoặc câu văn.
• Tách câu văn (graphemes): Xử lý chính xác các ký tự kết hợp như emoji hoặc ký tự có dấu.
• Tách câu (phrases): Hỗ trợ xử lý ở mức độ trung gian giữa từ và câu.
• Tuân thủ Unicode: Sử dụng bộ kiểm thử chính thức từ Unicode để đảm bảo độ chính xác.
• Hỗ trợ đa ngôn ngữ: Xử lý đúng các ngôn ngữ khác nhau nhờ tiêu chuẩn Unicode.

💡 Vì sao đáng chú ý

Khác với cách tách đơn giản bằng khoảng trắng, uax29 tuân thủ tiêu chuẩn Unicode, giúp xử lý nhất quán các trường hợp như dấu câu, ký tự đặc biệt hay emoji. Thích hợp cho các hệ thống NLP, công cụ tìm kiếm hoặc pipeline xử lý ngôn ngữ tự nhiên đa ngôn ngữ.

#Go #Unicode #Tokenizer #NLP #UAX29 #TiniX