FacebookAI/xlm-roberta-base
XLM-RoBERTa (base-sized model) XLM-RoBERTa model pre-trained on 2.5TB of filtered CommonCrawl data containing 100 languages. It was introduced in the paper Unsupervised Cross-lingual Representation Learning at Scale(https://arxiv.org/abs/1911.02116)...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#2 Repository Của Tháng
#3 Repository Của Tháng
🌍 XLM-RoBERTa base: Mô hình đa ngôn ngữ mạnh mẽ từ Facebook AI
XLM-RoBERTa là phiên bản đa ngôn ngữ của RoBERTa, được huấn luyện bán giám sát trên 2.5TB dữ liệu CommonCrawl phủ sóng tới 100 ngôn ngữ khác nhau.
XLM-RoBERTa (base) là một mô hình transformer được Facebook AI giới thiệu qua bài báo cáo Unsupervised Cross-lingual Representation Learning at Scale. Được huấn luyện trên khối lượng dữ liệu khổng lồ từ CommonCrawl, mô hình học được cách biểu diễn ngôn ngữ đa ngôn ngữ chất lượng cao thông qua nhiệm vụ dự đoán từ bị che (masked language modeling - MLM).
✨ Điểm nổi bật
- Huấn luyện trên 100 ngôn ngữ: Bao phủ hơn 100 ngôn ngữ bản ngữ và thiểu số ngôn ngữ quan trọng trên thế giới.
- Masked Language Modeling (MLM): Học cách biểu diễn hai chiều bằng cách dự đoán 15% từ ngẫu nhiên bị ẩn trong câu.
- Kiến trúc RoBERTa: Dựa trên kiến trúc transformer encoder, tối ưu cho các tác vụ hiểu ngôn ngữ chuyên sâu.
- Hỗ trợ đa khuônvực: Áp dụng tốt cho cả ngôn ngữ Latin, phi Latin, tiếng Á, Phi, và Bắc Mỹ.
- Tích hợp Transformers: Dễ dàng sử dụng qua thư viện Hugging Face Transformers với tokenizer và mô hình tương thích.
- Mục đích fine-tuning: Thiết kế để tinh chỉnh trên các tác vụ như phân loại, trích xuất thực thể, hỏi đáp đa ngôn ngữ.
💡 Vì sao đáng chú ý
Khác với các mô hình đa ngôn ngữ truyền thống chỉ hỗ trợ một số ngôn ngữ lớn, XLM-RoBERTa đồng bằng cách tiếp cận thống nhất bằng cách huấn luyện trên dữ liệu đa ngôn ngữ thực sự đa dạng. Điều này giúp mô hình vượt trội trong các tác vụ zero-shot hoặc cross-lingual, nơi cần chuyển giao kiến thức giữa các ngôn ngữ mà không cần dữ liệu gán nhãn.
Phù hợp cho các ứng dụng NLP đa ngôn ngữ như phân tích cảm xúc, hệ thống hỏi đáp đa ngôn ngữ, hoặc khai phá thông tin trên nội dung đa ngôn ngữ.
#Multilingual #RoBERTa #Transformers #NLP #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Multilingual-E5-large Multilingual E5 Text Embeddings: A Technical Report(https://arxiv.org/pdf/2402.05672). Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 24 layers and the embedding size is...
Multilingual-E5-small Multilingual E5 Text Embeddings: A Technical Report(https://arxiv.org/pdf/2402.05672). Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 12 layers and the embedding size is...
XLM-RoBERTa (large-sized model) XLM-RoBERTa model pre-trained on 2.5TB of filtered CommonCrawl data containing 100 languages. It was introduced in the paper Unsupervised Cross-lingual Representation Learning at Scale(https://arxiv.org/abs/1911.02116...
Multilingual-E5-base Multilingual E5 Text Embeddings: A Technical Report(https://arxiv.org/pdf/2402.05672). Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 12 layers and the embedding size is 7...
The embedding model trained by Jina AI. jina-embeddings-v3: Multilingual Embeddings With Task LoRA Quick Start Blog(https://jina.ai/news/jina-embeddings-v3-a-frontier-multilingual-embedding-model/parameter-dimensions) | Azure(https://azuremarketplac...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
OmniVoice 🌍 OmniVoice is a massively multilingual zero-shot text-to-speech (TTS) model supporting over 600 languages. Built on a novel diffusion language model-style architecture, it delivers high-quality speech w...
Multilingual-E5-large-instruct Multilingual E5 Text Embeddings: A Technical Report(https://arxiv.org/pdf/2402.05672). Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 24 layers and the embedding...