aisingapore/SEA-LION-v1-3B
SEA-LION-v1-3B SEA-LION is a collection of Large Language Models (LLMs) which has been pretrained and instruct-tuned for the Southeast Asia (SEA) region. The size of the models range from 3 billion to 7 billion parameters. This is the card for SEA-L...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#2 Repository Của Tuần
#2 Repository Của Tuần
🦁 SEA-LION-v1-3B: Mô hình ngôn ngữ lớn dành riêng cho khu vực Đông Nam Á
Mô hình ngôn ngữ lớn (LLM) 3 tỷ tham số được xây dựng cho bối cảnh ngôn ngữ và văn hóa Đông Nam Á.
SEA-LION-v1-3B (viết tắt của Southeast Asian Languages In One Network) là một phần của bộ sưu tập mô hình ngôn ngữ lớn do AI Singapore phát triển. Mô hình được xây dựng trên kiến trúc MPT, hỗ trợ 11 ngôn ngữ bao gồm tiếng Anh, tiếng Trung, tiếng Indonesia, tiếng Malay, tiếng Việt, tiếng Thái, tiếng Philippines, tiếng Tamil, tiếng Miền Bắc (Myanmar), tiếng Khmer và tiếng Lào. Đây là mô hình cơ sở chưa được tinh chỉnh an toàn — người dùng cần tự thực hiện các bước kiểm soát an ninh nếu áp dụng vào môi trường thực tế.
✨ Điểm nổi bật
- Kiến trúc MPT: Xây dựng trên nền tảng MPT (Masked Language Modeling), phù hợp với tính toán hiệu suất cao.
- Bộ từ vựng 256K: Hỗ trợ lớp ký tự rộng, tối ưu cho nhiều ngôn ngữ khu vực.
- Bộ mã hóa SEABPETokenizer: Tokenizer tùy chỉnh dựa trên SentencePiece, được huấn luyện trên 20 triệu dòng dữ liệu.
- Dữ liệu huấn luyện 980B token: Được thu thập từ nguồn như RefinedWeb, mC4, the Stack, RedPajama và WangChanBERTa.
- Huấn luyện trên 240 GPU A100: Chạy trong 14 ngày với 30 máy chủ AWS EC2 p4d.24xlarge.
- Hỗ trợ 11 ngôn ngữ: Bao phủ đa ngữ cho người dùng khu vực Đông Nam Á.
- Độ chính xác trung bình 40.35%: Trên các bài kiểm tra như ARC, HellaSwag, MMLU và TruthfulQA.
- Giấy phép MIT: Cho phép sử dụng và tùy biến tự do cho mục đích nghiên cứu và thương mại.
💡 Vì sao đáng chú ý
SEA-LION khác biệt với các mô hình LLM toàn cầu bằng cách tập trung vào ngữ cảnh và ngôn ngữ của khu vực Đông Nam Á — nơi nhiều ngôn ngữ có cấu trúc phức tạp và thiếu dữ liệu. Thay vì dùng chung một tokenizer toàn cầu, dự án phát triển SEABPETokenizer riêng, giúp cải thiện hiệu năng mã hóa cho các ngôn ngữ như tiếng Việt, tiếng Thái hay tiếng Khmer.
Mô hình phù hợp với các ứng dụng như trợ lý ảo đa ngôn ngữ, hệ thống dịch thuật khu vực, hoặc nền tảng hỗ trợ giáo dục và du lịch tại Đông Nam Á. Tuy nhiên, do chưa được kiểm định an toàn, người dùng nên cân nhắc fine-tuning bổ sung trước khi triển khai vào hệ thống thực tế.
#LLM #SEAregion #MultilingualAI #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
BigScience Large Open-science Open-access Multilingual Language Model Version 1.3 / 6 July 2022 Current Checkpoint: Training Iteration 95000 Link to paper: here(https://arxiv.org/abs/2211.05100) Total seen tokens: 366B --- Model Details BLOOM is an...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...