nlpai-lab/MixLID
MixLID Token-Level Language Identification in Mixed-Language Text Demo: Hugging Face Space(https://huggingface.co/spaces/hongst/MixLID) Paper: Coming soon. MixLID identifies the language of individual tokens, including short expressions embedded in...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🔍 MixLID: Nhận dạng ngôn ngữ từng từ trong văn bản đa ngôn ngữ và xen kẻo
MixLID xác định ngôn ngữ của từng token, kể cả những biểu thức ngắn nhúng trong ngôn ngữ khác, hỗ trợ 111 nhãn ngôn ngữ.
MixLID là một mô hình phân loại token dựa trên kiến trúc encoder, sử dụng mmBERT-small làm backbone. Dự án hỗ trợ nhận dạng ngôn ngữ tại cấp độ từng từ cũng như ngôn ngữ chiếm ưu thế của toàn bộ đầu vào, đặc biệt hiệu quả với văn bản đa ngôn ngữ và ngôn ngữ xen kẻo. Mô hình trả về nhãn ngôn ngữ, vị trí ký tự và điểm số dự đoán, đồng thời gán nhãn riêng cho số (NUM), dấu câu (PUNCT) và ký tự đặc biệt (SYM).
✨ Điểm nổi bật
- Nhận dạng ngôn ngữ trong văn bản hỗn hợp: xác định vị trí các đoạn ngôn ngữ, bao gồm cả biểu thức ngắn nhúng trong ngôn ngữ khác, trên 111 nhãn ngôn ngữ.
- Hai chế độ dự đoán: hỗ trợ dự đoán ngôn ngữ từng token hoặc ngôn ngữ chiếm ưu thế của toàn bộ đầu vào bằng cùng một mô hình.
- Kiến trúc vững chắc: sử dụng mmBERT-small làm backbone với tiêu đề token classification.
- Hỗ trợ đầu vào đa dạng: xử lý cả văn bản đơn ngôn ngữ và đa ngôn ngữ xen kẻo.
- Phạm vi ngôn ngữ rộng: hỗ trợ 111 nhãn ngôn ngữ khác nhau.
- Nhãn phụ trợ: gán nhãn riêng cho số (
NUM), dấu câu (PUNCT) và ký tự đặc biệt (SYM). - Cửa sổ ngữ cảnh lớn: hỗ trợ đến 8.192 token.
- Đầu ra chi tiết: trả về nhãn ngôn ngữ, vị trí ký tự và điểm số dự đoán.
💡 Vì sao đáng chú ý
MixLID khác biệt từ các mô hình nhận dạng ngôn ngữ truyền thống bằng cách xử lý ở mức độ token, giúp phát hiện chính xác ngay cả những đoạn ngôn ngữ ngắn xen kẽ trong văn bản. Điều này đặc biệt hữu ích cho các tác vụ lọc dữ liệu đa ngôn ngữ, đánh giá sinh text AI, và nghiên cứu âm thanh văn bản. Với khả năng hỗ trợ 111 ngôn ngữ và xử lý cả ngôn ngữ xen kẻo, MixLID là công cụ mạnh cho các nhà nghiên cứu và nhà phát triển làm việc với nội dung đa ngôn ngữ.
#LID #LanguageIdentification #TokenClassification #Multilingual #CodeSwitching #TiniX
Similar Projects
Discover other similar projects and AI models.
GlotLID !GlotLID(https://img.shields.io/badge/🤗-Open%20In%20Spaces-blue.svg)(https://huggingface.co/spaces/cis-lmu/glotlid-space) Description GlotLID is a Fasttext language identification (LID) model that supports more than 2000 labels. Latest: Glo...
mmBERT: A Modern Multilingual Encoder !License: MIT(https://img.shields.io/badge/License-MIT-yellow.svg)(https://opensource.org/licenses/MIT) !Paper(https://img.shields.io/badge/Paper-Arxiv-red)(https://arxiv.org/abs/2509.06888) !Model(https://img.s...
mmBERT: A Modern Multilingual Encoder !License: MIT(https://img.shields.io/badge/License-MIT-yellow.svg)(https://opensource.org/licenses/MIT) !Paper(https://img.shields.io/badge/Paper-Arxiv-red)(https://arxiv.org/abs/2509.06888) !Model(https://img.s...
Model Card for Aya 101 Model Summary The Aya model is a massively multilingual generative language model that follows instructions in 101 languages. Aya outperforms mT0(https://huggingface.co/bigscience/mt0-xxl) and BLOOMZ(https://huggingface.co/big...
-- propella-1 propel your data curation to the next level. -- propella-1 is a family of small multilingual LLMs that annotate text documents across six categories: core content, classification, quality & value, audience & purpose, safety & complianc...
PP-OCRv6 (medium) multilingual handwritten and printed text recognition model
NLLB-200 This is the model card of NLLB-200's distilled 600M variant. Here are the metrics(https://tinyurl.com/nllb200densedst600mmetrics) for that particular checkpoint. - Information about training algorithms, parameters, fairness constraints or o...
NLLB-200 This is the model card of NLLB-200's 3.3B variant. Here are the metrics(https://tinyurl.com/nllb200dense3bmetrics) for that particular checkpoint. - Information about training algorithms, parameters, fairness constraints or other applied ap...
NLLB-200 This is the model card of NLLB-200's distilled 1.3B variant. Here are the metrics(https://tinyurl.com/nllb200densedst1bmetrics) for that particular checkpoint. - Information about training algorithms, parameters, fairness constraints or oth...