jhu-clsp/mmBERT-small
mmBERT: A Modern Multilingual Encoder !License: MIT(https://img.shields.io/badge/License-MIT-yellow.svg)(https://opensource.org/licenses/MIT) !Paper(https://img.shields.io/badge/Paper-Arxiv-red)(https://arxiv.org/abs/2509.06888) !Model(https://img.s...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🧠 mmBERT-small: Modern Multilingual Encoder
Một mô hình ngôn ngữ đa ngữ hiện đại từ JHU CLSP, hỗ trợ hơn 400 ngôn ngữ với kiến trúc ModernBERT.
mmBERT-small là một mô hình ngôn ngữ đa ngữ (multilingual encoder) được phát triển bởi nhóm nghiên cứu JHU CLSP (Johns Hopkins University Center for Language and Speech Processing). Dựa trên kiến trúc ModernBERT, mô hình hỗ trợ hơn 400 ngôn ngữ và được huấn luyện trên bộ dữ liệu lớn bao gồm các ngôn ngữ ít được chú ý thường xuyên. Mô hình hỗ trợ trực tiếp thông qua thư viện Transformers của Hugging Face và được thiết kế để thực hiện hiệu quả trên các nhiệm vụ xử lý ngôn ngữ tự nhiên đa ngôn ngữ.
✨ Điểm nổi bật
- ModernBERT architecture: Dựa trên kiến trúc ModernBERT hiện đại, tối ưu cho hiệu suất và khả năng mở rộng.
- Hỗ trợ hơn 400 ngôn ngữ: Bao gồm cả các ngôn ngữ ít được hỗ trợ khác, đáp ứng nhu cầu đa ngôn ngữ rộng rãi.
- Fill-mask pipeline: Được cấu hình sẵn cho nhiệm vụ dự đoán từ bị thiếu (fill-mask) thông qua Hugging Face Transformers.
- Bộ dữ liệu đa dạng: Huấn luyện trên các bộ dữ liệu lớn như Fineweb2, cùng với dữ liệu tiếp tĩnh (midtraining) và dữ liệu giảm dần (decay).
- Giấy phép MIT: Mở nguồn hoàn toàn với giấy phép linh hoạt cho cả mục đích học thuật và thương mại.
- Tích hợp Transformers: Hỗ trợ ngay từ thư viện Transformers của Hugging Face, dễ dàng tích hợp và triển khai.
💡 Vì sao đáng chú ý
mmBERT-small khác biệt nhờ việc kết hợp kiến trúc ModernBERT — một bước tiến so với các mô hình đa ngữ truyền thống như mBERT hay XLM-R — giúp cải thiện đáng kể hiệu suất trên cả ngôn ngữ lớn và nhỏ. Đặc biệt, mô hình được huấn luyện trên một bộ dữ liệu đa dạng với sự tập trung đến cả các ngôn ngữ hiếm, giúp giảm thiểu khoảng cách ngôn ngữ trong xử lý.
Mô hình phù hợp cho các ứng dụng NLP đa ngôn ngữ như dịch máy, phân tích cảm xúc, trích xuất thông tin và các nhiệm vụ khai thác ngôn ngữ tự nhiên trên nền tảng đa ngôn ngữ.
#Multilingual #ModernBERT #FillMask #Transformers #TiniX
Similar Projects
Discover other similar projects and AI models.
mmBERT: A Modern Multilingual Encoder !License: MIT(https://img.shields.io/badge/License-MIT-yellow.svg)(https://opensource.org/licenses/MIT) !Paper(https://img.shields.io/badge/Paper-Arxiv-red)(https://arxiv.org/abs/2509.06888) !Model(https://img.s...
GlotLID !GlotLID(https://img.shields.io/badge/🤗-Open%20In%20Spaces-blue.svg)(https://huggingface.co/spaces/cis-lmu/glotlid-space) Description GlotLID is a Fasttext language identification (LID) model that supports more than 2000 labels. Latest: Glo...
Model Card for MADLAD-400-3B-MT Table of Contents 0. TL;DR(TL;DR) 1. Model Details(model-details) 2. Usage(usage) 3. Uses(uses) 4. Bias, Risks, and Limitations(bias-risks-and-limitations) 5. Training Details(training-details) 6. Evaluation(evaluatio...
OmniVoice 🌍 OmniVoice is a massively multilingual zero-shot text-to-speech (TTS) model supporting over 600 languages. Built on a novel diffusion language model-style architecture, it delivers high-quality speech w...
OmniVoice Vietnamese — Fine-tuned for Vietnamese Speech Synthesis Fine-tuned version of OmniVoice(https://huggingface.co/k2-fsa/OmniVoice) on 1,000 hours of high-quality Vietnamese speech data, optimized for Vietnamese voice cloning and text-to-spee...
OmniVoice-bf16 🌍 BF16 quantized version of k2-fsa/OmniVoice(https://huggingface.co/k2-fsa/OmniVoice). !Screenshot 2026-04-02 203949(https://cdn-uploads.huggingface.co/production/uploads/63473b59e5c0717e6737b872/iCeCjyFAAl7qFPRpvCiTb.png) Original M...
لهجتنا — Arabic Dialect Text-to-Speech Model Model Summary لهجتنا is an open Arabic Text-to-Speech (TTS) model designed to generate natural-sounding speech across Arabic dialects. The goal of لهجتنا is to create a unified speech model capable of rep...
MixLID Token-Level Language Identification in Mixed-Language Text Demo: Hugging Face Space(https://huggingface.co/spaces/hongst/MixLID) Paper: Coming soon. MixLID identifies the language of individual tokens, including short expressions embedded in...
Model Card for Aya 101 Model Summary The Aya model is a massively multilingual generative language model that follows instructions in 101 languages. Aya outperforms mT0(https://huggingface.co/bigscience/mt0-xxl) and BLOOMZ(https://huggingface.co/big...