mistralai/Magistral-Small-2506
Magistral Small 1.0 Building upon Mistral Small 3.1 (2503), with added reasoning capabilities, undergoing SFT from Magistral Medium traces and RL on top, it's a small, efficient reasoning model with 24B parameters. Magistral Small can be deployed lo...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🧠 Magistral Small 1.0 — Mô hình lý luận nhẹ, mạnh như AI lớn
Magistral Small kế thừa Mistral Small 3.1 (2503), được SFT từ trace Magistral Medium và tinh chỉnh bằng RL, mang lại khả năng suy luỵ chuỗi trước khi trả lời.
Magistral Small 1.0 là phiên bản mô hình lý luận nhẹ từ Mistral AI, dựa trên Mistral Small 3.1 với 24 tỷ tham số. Nó được huấn luyện bằng SFT từ trace của Magistral Medium và tinh chỉnh bằng RL, giúp nó có thể thực hiện các bước suy luợc sâu trước khi đưa ra câu trả lời. Dù là mô hình nhỏ, nó vẫn đạt được hiệu suất mạnh trên các bài kiểm tra như AIME, GPQA và Livecodebench.
✨ Điểm nổi bật
- Suy luận chuỗi dài: Sinh các bước suy nghĩ trước khi đưa ra câu trả lời cuối cùng.
- Đa ngôn ngữ: Hỗ trợ hơn 20 ngôn ngữ bao gồm tiếng Anh, Pháp, Đức, Nhật, Hàn, Trung, Việt, Ả Rập...
- Giấy phép Apache 2.0: Tự do sử dụng và chỉnh sửa cho cả mục đích thương mại và phi thương mại.
- Cửa sổ ngữ cảnh 128k: Hỗ trợ ngữ cảnh dài, nhưng nên giới hạn ở 40k để duy trì hiệu suất.
- Triển khai nhẹ: Chạy trên RTX 4090 hoặc MacBook 32GB sau khi đã lượng tử hóa.
- Đề xuất tham số mẫu: top_p=0.95, temperature=0.7, max_tokens=40960.
- Hỗ trợ vLLM: Triển khai nhanh với vLLM, kèm hỗ trợ tool call tự động.
- Bản đồ hóa câu lệnh: Sử dụng mistral-common làm chuẩn cho template và tokenizer.
💡 Vì sao đáng chú ý
Không chỉ là mô hình nhỏ gọn, Magistral Small còn giữ được hiệu suất suy luận mạnh mẽ nhờ được huấn luyện từ trace của mô hình lớn hơn. Điều này giúp nó phù hợp cho các bài toán cần tư duy logic nhưng với nguồn lực triển khai hạn chế. Đặc biệt, khả năng triển khai trên phần cứng tiêu dùng như RTX 4090 hoặc MacBook là lợi thế lớn so với các mô hình lớn khác.
#Magistral #ReasoningAI #MistralAI #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Model Card for Mistral-Small-3.1-24B-Instruct-2503 Building upon Mistral Small 3 (2501), Mistral Small 3.1 (2503) adds state-of-the-art vision understanding and enhances long context capabilities up to 128k tokens without compromising text performan...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
XLM-RoBERTa (base-sized model) XLM-RoBERTa model pre-trained on 2.5TB of filtered CommonCrawl data containing 100 languages. It was introduced in the paper Unsupervised Cross-lingual Representation Learning at Scale(https://arxiv.org/abs/1911.02116)...
Multilingual-E5-large Multilingual E5 Text Embeddings: A Technical Report(https://arxiv.org/pdf/2402.05672). Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 24 layers and the embedding size is...
Multilingual-E5-small Multilingual E5 Text Embeddings: A Technical Report(https://arxiv.org/pdf/2402.05672). Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 12 layers and the embedding size is...
Whisper Whisper is a pre-trained model for automatic speech recognition (ASR) and speech translation. Trained on 680k hours of labelled data, Whisper models demonstrate a strong ability to generalise to many datasets and domains without the need for...
Multilingual-E5-base Multilingual E5 Text Embeddings: A Technical Report(https://arxiv.org/pdf/2402.05672). Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei, arXiv 2024 This model has 12 layers and the embedding size is 7...