CohereLabs/aya-101
Model Card for Aya 101 Model Summary The Aya model is a massively multilingual generative language model that follows instructions in 101 languages. Aya outperforms mT0(https://huggingface.co/bigscience/mt0-xxl) and BLOOMZ(https://huggingface.co/big...
🌍 Aya-101: Mô hình ngôn ngữ đa ngữ lục giới mạnh nhất đến từ CohereLabs
Aya-101 là mô hình sinh tạo hướng chỉ thị hỗ trợ 101 ngôn ngữ, vượt trội mT0 và BLOOMZ dù chỉ là 13 tỷ tham số.
Aya-101 (13 tỷ tham số) là phiên bản cải tiến của Aya, phát triển bởi Cohere For AI. Mô hình được huấn luyện trên 25 triệu mẫu dữ liệu từ xP3x, Aya Dataset, Aya Collection và ShareGPT-Command, dùng kiến trúc giống mt5-xxl và triển khai bằng T5X + Jax trên TPUv4-128.
✨ Điểm nổi bật
- Hỗ trợ 101 ngôn ngữ: Bao phủ các ngôn ngữ ít nguồn như kurdish, somali, zulu.
- Vượt trội mT0 và BLOOMZ: Đạt kết quả tốt hơn dù số ngôn ngữ gấp đôi.
- Kiến trúc mt5-xxl: Tận dụng kiến trúc mạnh đã được chứng minh.
- Huấn luyện trên 25M mẫu: Dữ liệu đa dạng từ nhiều nguồn khác nhau.
- Apache-2.0 license: Mã nguồn mở cho nghiên cứu cộng đồng.
- Triển khai transformers: Dễ tích hợp vào pipeline NLP hiện có.
💡 Vì sao đáng chú ý
Aya-101 không chỉ mở rộng số lượng ngôn ngữ mà còn duy trì chất lượng cao nhờ huấn luyện có chỉ thị. Phù hợp cho dịch máy, tóm tắt đa ngôn ngữ, và nghiên cứu ngôn ngữ học.
#MultilingualAI #LanguageModel #OpenSource #T5 #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
GlotLID !GlotLID(https://img.shields.io/badge/🤗-Open%20In%20Spaces-blue.svg)(https://huggingface.co/spaces/cis-lmu/glotlid-space) Description GlotLID is a Fasttext language identification (LID) model that supports more than 2000 labels. Latest: Glo...
mmBERT: A Modern Multilingual Encoder !License: MIT(https://img.shields.io/badge/License-MIT-yellow.svg)(https://opensource.org/licenses/MIT) !Paper(https://img.shields.io/badge/Paper-Arxiv-red)(https://arxiv.org/abs/2509.06888) !Model(https://img.s...
mmBERT: A Modern Multilingual Encoder !License: MIT(https://img.shields.io/badge/License-MIT-yellow.svg)(https://opensource.org/licenses/MIT) !Paper(https://img.shields.io/badge/Paper-Arxiv-red)(https://arxiv.org/abs/2509.06888) !Model(https://img.s...
MixLID Token-Level Language Identification in Mixed-Language Text Demo: Hugging Face Space(https://huggingface.co/spaces/hongst/MixLID) Paper: Coming soon. MixLID identifies the language of individual tokens, including short expressions embedded in...
-- propella-1 propel your data curation to the next level. -- propella-1 is a family of small multilingual LLMs that annotate text documents across six categories: core content, classification, quality & value, audience & purpose, safety & complianc...
PP-OCRv6 (medium) multilingual handwritten and printed text recognition model
SunflowerASR: speech recognition for 51 African languages SunflowerASR is an adaptation of Whisper large-v3(https://huggingface.co/openai/whisper-large-v3) that supports Automatic Speech Recognition (ASR) for 51 languages widely spoken in Africa: En...
!WARNING This is a preview release. The model weights will change between now and the final release. Benchmark numbers, prompt behaviour and output quality may all shift. Please don't pin production systems to this checkpoint — treat it as a preview...
huihui-ai/Qwen2.5-72B-Instruct-abliterated This is an uncensored version of Qwen/Qwen2.5-72B-Instruct(https://huggingface.co/Qwen/Qwen2.5-72B-Instruct) created with abliteration (see remove-refusals-with-transformers(https://github.com/Sumandora/rem...