Qwen/Qwen2.5-32B
Qwen2.5-32B Introduction Qwen2.5 is the latest series of Qwen large language models. For Qwen2.5, we release a number of base language models and instruction-tuned language models ranging from 0.5 to 72 billion parameters. Qwen2.5 brings the followi...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#9 Repository Của Tuần
#5 Repository Của Tháng
#5 Repository Của Tháng
🚀 Qwen2.5-32B: Mô hình ngôn ngữ lớn 32 tỷ từ Qwen
Bản cập nhật lớn nhất của Qwen với khả năng lập trình, toán học và xử lý ngữ cảnh dài vượt trội.
Qwen2.5-32B là phiên bản cơ sở (base model) với 32,5 tỷ tham số từ nhà phát triển Qwen. Đây là mô hình được huấn luyện bài đầu (pretraining) nhằm cung cấp nền tảng vững chắc cho các nhiệm vụ xử lý ngôn ngữ phức tạp. Qwen2.5 mang lại cải tiến đáng kể về kiến thức, khả năng lập trình và toán học nhờ các mô hình chuyên gia (expert models) chuyên biệt.
✨ Điểm nổi bật
- Cải tiến kiến thức và kỹ năng: Nâng cấp đáng kể về lập trình, toán học và hiểu biết tổng thể nhờ mô hình chuyên gia
- Hỗ trợ ngữ cảnh dài: Xử lý ngữ cảnh lên đến 128K token và sinh văn bản dài 8K token
- Đa ngôn ngữ: Hỗ trợ hơn 29 ngôn ngữ bao gồm tiếng Việt, tiếng Trung, tiếng Anh, tiếng Pháp...
- Kiến trúc hiện đại: Sử dụng RoPE, SwiGLU, RMSNorm và Attention QKV bias
- Cấu trúc mạng: 64 lớp, 40 đầu chú ý cho Q và 8 cho KV (GQA), 31 tỷ tham số không tính embedding
- Tương thích Hugging Face: Hỗ trợ transformers phiên bản mới nhất
💡 Vì sao đáng chú ý
Qwen2.5-32B khác biệt nhờ cách tiếp cận chuyên gia (expert models) trong huấn luyện, giúp nâng cao đáng kể hiệu suất trên lĩnh vực lập trình và toán học. Đặc biệt, khả năng hỗ trợ ngữ cảnh 128K token giúp xử lý tài liệu dài hiệu quả. Tuy nhiên, do đây là mô hình cơ sở, người dùng cần tiến hành học tiếp (SFT, RLHF) trước khi dùng cho trò chuyện.
#Qwen25 #LanguageModel #TextGeneration #OpenSource #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
GLM-5.2 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.2 blog and GLM-5 Technical report. 📍 Use GLM-5.2 API services on Z.ai API Platform. 🔜 Try GLM-5.2 here. Paper GitHub Introduction We're introducing GLM-5.2, our latest flagshi...
Model Card for Mistral-7B-v0.1 The Mistral-7B-v0.1 Large Language Model (LLM) is a pretrained generative text model with 7 billion parameters. Mistral-7B-v0.1 outperforms Llama 2 13B on all benchmarks we tested. For full details of this model please...