Helsinki-NLP/opus-mt-en-zh
eng-zho source group: English target group: Chinese OPUS readme: eng-zho(https://github.com/Helsinki-NLP/Tatoeba-Challenge/tree/master/models/eng-zho/README.md) model: transformer source language(s): eng target language(s): cjyHans cjyHant cmn cmnHa...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#4 Repository Của Tháng
#10 Repository Của Tháng
#2 Repository Của Tuần
🌟 Dịch Anh sang Tiếng Trung đa biến thể với OPUS-MT
Mô hình transformer tiên tiến từ Helsinki-NLP, hỗ trợ dịch từ tiếng Anh sang普通话、粤语、闽南语 và nhiều phương ngữ Trung khác.
OPUS-MT là một mô hình dịch thuật nguồn mở do Helsinki-NLP phát triển, chuyên chuyển đổi văn bản tiếng Anh sang nhiều biến thể tiếng Trung, bao gồm普通话 (cmn),粤语 (yue),闽南语 (nan),吴语 (wuu) và các dạng khác. Mô hình được xây dựng trên kiến trúc transformer, sử dụng công nghệ tokenization SentencePiece với từ vựng 32k, đảm bảo hiệu quả và độ chính xác cao trong việc xử lý ngôn ngữ tự nhiên.
✨ Điểm nổi bật
- Hỗ trợ nhiều biến thể tiếng Trung: Mô hình có thể dịch sang普通话、粤语、闽南语、吴语 và các phương ngữ khác, phù hợp cho các ứng dụng đa ngôn ngữ.
- Kiến trúc transformer hiện đại: Sử dụng mô hình transformer, mang lại hiệu suất dịch tốt với điểm BLEU cao.
- Tokenization SentencePiece: Áp dụng SentencePiece với spm32k, giúp xử lý từ vựng một cách linh hoạt và hiệu quả.
- Yêu cầu token ngôn ngữ: Cần cung cấp token như
>>id<<để chỉ định ngôn ngữ mục tiêu, tăng tính linh hoạt. - Kết quả benchmark ấn tượng: Đạt điểm BLEU 31.4 và chr-F 0.268 trên tập test Tatoeba, cho thấy độ chính xác đáng tin cậy.
- Người dùng dễ tiếp cận: Mô hình được phân phối dưới dạng nguồn mở, tương thích với các khung việc như PyTorch, TensorFlow, và có thể triển khai trên Azure.
💡 Vì sao đáng chú ý
OPUS-MT nổi bật nhờ khả năng xử lý sự đa dạng của tiếng Trung, điều mà nhiều mô hình dịch khác không làm được. Việc hỗ trợ cả普通话 và các phương ngữ địa phương như粤语 hay闽南語 giúp mô hình trở thành công cụ hữu ích cho các dự án liên văn hóa, giáo dục, hoặc doanh nghiệp cần dịch sang nhiều biến thể tiếng Trung. Với điểm BLEU trên 31, mô hình không chỉ mạnh về mặt kỹ thuật mà còn thực tế, phù hợp cho cả nghiên cứu và ứng dụng thực tế.
#Translation #Transformers #OpenSource #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Model Card for T5 Small !model image(https://camo.githubusercontent.com/623b4dea0b653f2ad3f36c71ebfe749a677ac0a1/68747470733a2f2f6d69726f2e6d656469756d2e636f6d2f6d61782f343030362f312a44304a31674e51663876727255704b657944387750412e706e67) Table of Con...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
BERT base model (uncased) Pretrained model on English language using a masked language modeling (MLM) objective. It was introduced in this paper(https://arxiv.org/abs/1810.04805) and first released in this repository(https://github.com/google-resear...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators ELECTRA is a new method for self-supervised language representation learning. It can be used to pre-train transformer networks using relatively little compute. ELECTRA mode...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
Model Card for T5 Base !model image(https://camo.githubusercontent.com/623b4dea0b653f2ad3f36c71ebfe749a677ac0a1/68747470733a2f2f6d69726f2e6d656469756d2e636f6d2f6d61782f343030362f312a44304a31674e51663876727255704b657944387750412e706e67) Table of Cont...