RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-FP8-dynamic
Mistral-Small-3.1-24B-Instruct-2503-FP8-dynamic Model Overview - Model Architecture: Mistral3ForConditionalGeneration - Input: Text / Image - Output: Text - Model Optimizations: - Activation quantization: FP8 - Weight quantization: FP8 - Intended Us...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🚀 Mistral-Small-3.1-24B-Instruct-2503-FP8-dynamic — Mô hình LLM đa nhiệm đã được tối ưu FP8
Phiên bản FP8 của Mistral-Small-3.1-24B, giảm 50% bộ nhớ GPU và tăng tốc inference gấp đến 2 lần.
Đây là mô hình Mistral3ForConditionalGeneration hỗ trợ cả văn bản và hình ảnh làm đầu vào, phát triển bởi Red Hat AI (Neural Magic). Mô hình được lấy từ bản gốc Mistral-Small-3.1-24B-Instruct-2503 và áp dụng kỹ thuật lượt hoá trọng số và kích hoạt (activations) xuống FP8 thông qua thư viện llm-compressor.
✨ Điểm nổi bật
- Kiến trúc Mistral3: Hỗ trợ đầu vào đa dạng (text + image), phát thích ra text.
- Lượt hoá FP8: Cả trọng số và activation đều được nén xuống FP8, giảm 50% bộ nhớ GPU.
- Tăng tốc tính toán: Tăng throughput ma trận lên đến 2x nhờ FP8.
- Hỗ trợ đa ngôn ngữ: Hơn 30 ngôn ngữ bao gồm cả tiếng Việt.
- Được xác thực: Hỗ trợ trên RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5, vLLM 0.8.4.
- Ứng dụng đa dạng: Agent trò chuyện nhanh, gọi hàm thấp độ độ trễ, lập trình, toán học, hiểu tài liệu dài và thị giác máy tính.
💡 Vì sao đáng chú ý
Mô hình không chỉ giảm kích thước mà còn tối ưu hiệu năng thực tế. Việc sử dụng FP8 giúp giảm tiêu thụ bộ nhớ đáng kể mà vẫn duy trì chất lượng đầu ra, phù hợp cho triển khai trên GPU với tài nguyên hạn chế. Đặc biệt phù hợp cho các tổ chức xử lý dữ liệu nhạy cảm cần chạy cụ cụ cụ cụ nền tảng và triển khai trên môi trường doanh nghiệp.
#MistralAI #FP8 #LLM #RedHatAI #VLLM #TiniX
Similar Projects
Discover other similar projects and AI models.
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
XLM-RoBERTa (base-sized model) XLM-RoBERTa model pre-trained on 2.5TB of filtered CommonCrawl data containing 100 languages. It was introduced in the paper Unsupervised Cross-lingual Representation Learning at Scale(https://arxiv.org/abs/1911.02116)...
Multilingual-E5-large Multilingual E5 Text Embeddings: A Technical Report(https://arxiv.org/pdf/2402.05672). Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 24 layers and the embedding size is...
Multilingual-E5-small Multilingual E5 Text Embeddings: A Technical Report(https://arxiv.org/pdf/2402.05672). Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 12 layers and the embedding size is...
Whisper Whisper is a pre-trained model for automatic speech recognition (ASR) and speech translation. Trained on 680k hours of labelled data, Whisper models demonstrate a strong ability to generalise to many datasets and domains without the need for...
Multilingual-E5-base Multilingual E5 Text Embeddings: A Technical Report(https://arxiv.org/pdf/2402.05672). Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 12 layers and the embedding size is 7...
The embedding model trained by Jina AI. jina-embeddings-v3: Multilingual Embeddings With Task LoRA Quick Start Blog(https://jina.ai/news/jina-embeddings-v3-a-frontier-multilingual-embedding-model/parameter-dimensions) | Azure(https://azuremarketplac...