PleIAs/Pleias-350m-Preview
Pleias-pico-350m-Preview is an early preview of a 350 million parameter base model trained by Pleias(https://huggingface.co/PleIAs) on Common Corpus(https://huggingface.co/datasets/PleIAs/commoncorpus). Like all the base and specialized models from...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#2 Repository Của Tuần
#8 Repository Của Tuần
#1 Repository Của Tuần
🧠 Pleias-350m-Preview: Mô hình ngôn ngữ nhỏ gọn, đa ngôn ngữ và tuân thủ pháp lý
Mô hình ngôn ngữ 350 triệu tham số, huấn luyện từ đầu trên Common Corpus, hỗ trợ 8 ngôn ngữ châu Âu và chạy trên CPU mà không cần nén.
Pleias-350m-Preview là một mô hình ngôn ngữ cơ sở (base model) với 350 triệu tham số, được huấn luyện hoàn toàn từ đầu bởi nhóm Pleias. Mô hình sử dụng kiến trúc tương tự Llama/GPT-NeoX, giúp dễ dàng triển khai và suy diễn. Toàn bộ dữ liệu huấn luyện đều là nguồn mở, không bản quyền hoặc dưới giấy phép cho phép, đảm bảo tuân thủ Luật AI châu Âu.
✨ Điểm nổi bật
- Huấn luyện trên dữ liệu mở: Chỉ sử dụng dữ liệu nguồn công cộng hoặc dưới giấy phép cho phép, tuân thủ Luật AI châu Âu.
- Hỗ trợ đa ngôn ngữ: Bao gồm tiếng Anh, Pháp, Tây Ban Nha, Đức, Ý, Hà Lan, Latin và Bồ Đào Nha.
- Tokenizer mới: Được thiết kế riêng để xử lý tài liệu tốt hơn và hỗ trợ đa ngôn ngữ tốt hơn.
- Chạy trên CPU: Với kích thước nhỏ, mô hình có thể chạy trực tiếp trên CPU mà không cần nén.
- Phiên bản GGUF: Đã cung cấp phiên bản GGUF đầu tiên để hỗ trợ triển khai linh hoạt.
- Tính năng lịch sử: Có khả năng sinh văn bản bằng chữ cá chương (long s) và ngôn ngữ cổ như Latin.
- Thấp mức độ độc hại: Được lọc kỹ lưỡng để giảm thiểu nội dung độc hại và gây ra vấn đề.
💡 Vì sao đáng chú ý
Pleias-350m-Preview khác biệt nhờ cách tiếp cận trách nghĩa về dữ liệu: chỉ dùng nguồn mở và tuân thủ pháp lý, tránh CommonCrawl. Điều này giúp mô hình giảm thiểu rủi ro bản quyền và phù hợp với các ứng dụng nhạy cảm. Ngoài ra, khả năng sinh đa ngôn ngữ và hỗ trợ ngôn ngữ cổ khiến mô hình nổi trội so với các mô hình cùng kích thước khác.
Mô hình phù hợp với các nhiệm vụ như viết sáng tạo đa ngôn ngữ, dịch thuật, và hỗ trợ xử lý tài liệu (RAG, OCR). Tuy nhiên, không khuyến nghị sử dụng kỹ thuật LORA để tinh chỉnh do kích thước nhỏ.
#AI #OpenSource #Multilingual #LLM #Pleias #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Model Card for Mixtral-8x7B Tokenization with mistral-common py from mistralcommon.tokens.tokenizers.mistral import MistralTokenizer from mistralcommon.protocol.instruct.messages import UserMessage from mistralcommon.protocol.instruct.request import...
XLM-RoBERTa (base-sized model) XLM-RoBERTa model pre-trained on 2.5TB of filtered CommonCrawl data containing 100 languages. It was introduced in the paper Unsupervised Cross-lingual Representation Learning at Scale(https://arxiv.org/abs/1911.02116)...
Multilingual-E5-large Multilingual E5 Text Embeddings: A Technical Report(https://arxiv.org/pdf/2402.05672). Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 24 layers and the embedding size is...
Multilingual-E5-small Multilingual E5 Text Embeddings: A Technical Report(https://arxiv.org/pdf/2402.05672). Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 12 layers and the embedding size is...
Whisper Whisper is a pre-trained model for automatic speech recognition (ASR) and speech translation. Trained on 680k hours of labelled data, Whisper models demonstrate a strong ability to generalise to many datasets and domains without the need for...