Trung Quốcymcui/Chinese-BERT-wwm
Pre-Training with Whole Word Masking for Chinese BERT（中文BERT-wwm系列模型）
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🚀 Chinese-BERT-wwm: Mô hình BERT tiếng Trung với kỹ thuật Whole Word Masking
Dự án cung cấp các mô hình tiếng Trung dựa trên BERT với kỹ thuật Whole Word Masking, tối ưu cho xử lý ngôn ngữ tự nhiên.
Chinese-BERT-wwm là dự án mã nguồn mở do nhóm nghiên cứu HFL phát triển, cung cấp các phiên bản mô hình BERT và RoBERTa được huấn luyện với kỹ thuật Whole Word Masking (WWM) trên dữ liệu tiếng Trung. Dự án giúp cải thiện đáng kể hiệu suất của các mô hình ngôn ngữ lớn trên các nhiệm vụ NLP tiếng Trung.
✨ Điểm nổi bật
- Whole Word Masking: Áp dụng kỹ thuật WWM để mask toàn bộ từ, không chỉ riêng các từ con.
- Đa dạng mô hình: Bao gồm BERT-wwm, BERT-wwm-ext, RoBERTa-wwm-ext, RBT3, và các phiên bản lớn.
- Hỗ trợ đa khung: Tương thích với cả TensorFlow và PyTorch thông qua thư viện Transformers.
- Dễ tích hợp: Hỗ trợ tải nhanh qua Hugging Face và PaddlePaddle PaddleHub.
- Hiệu suất cao: Đạt kết quả xuất sắc trên bảng xếp hạng GLUE.
- Nghiên cứu học thuật: Được công bố trên TASLP, là công cụ lý tưởng cho nghiên cứu NLP.
💡 Vì sao đáng chú ý
Chinese-BERT-wwm khác biệt từ các mô hình BERT truyền thống bằng cách sử dụng kỹ thuật Whole Word Masking, giúp mô hình hiểu sâu hơn về cấu trúc từ ngữ trong tiếng Trung. Điều này đặc biệt quan trọng vì tiếng Trung không có khoảng trắng tách từ như tiếng Anh, khiến các mô hình dựa trên ký tự gặp khó khăn. Dự án phù hợp cho các nhà nghiên cứu và kỹ sư NLP làm việc với tiếng Trung.
#ChineseBERT #WholeWordMasking #NLP #PyTorch #TensorFlow #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.
Natural Language Processing Tutorial for Deep Learning Researchers
Non-autoregressive System 1 decision engine. Typed choice, score and yes/no decisions over any text in a single forward pass, in 100+ languages, with a router that picks the right checkpoint per request.
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
BERT base model (uncased) Pretrained model on English language using a masked language modeling (MLM) objective. It was introduced in this paper(https://arxiv.org/abs/1810.04805) and first released in this repository(https://github.com/google-resear...