deepseek-ai/DeepSeek-V4-Pro
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence Technical Report👁️ Introduction We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language models — DeepSeek-V4-Pro with 1.6T p...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#2 Repository Của Ngày
#3 Repository Của Ngày
#2 Repository Của Ngày
🚀 DeepSeek-V4-Pro: Mô hình ngôn ngữ MoE cấp tốc với ngữ cảnh 1 triệu token
DeepSeek-V4-Pro là bản xem trước của dựa hàng DeepSeek-V4, kết hợp kiến trúc Hybrid Attention, mHC và bộ tối ưu Muon để xử lý ngữ cảnh lên đến 1M token một cách hiệu quả.
DeepSeek-V4-Pro là một mô hình ngôn ngữ kiểu Mixture-of-Experts (MoE) với tổng 1.6 tỷ tham số (49 tỷ tham số kích hoạt), hỗ trợ độ dài ngữ cảnh lên đến một triệu token. Được huấn luyện trên hơn 32 tỷ token, mô hình áp dụng các công nghệ tiên tiến như Compressed Sparse Attention (CSA), Heavily Compressed Attention (HCA), Manifold-Constrained Hyper-Connections (mHC) và bộ tối ưu Muon. Bên cạnh đó, quy trình học sâu hai giai đoạn giúp các chuyên gia miền con được rèn luyện độc lập trước khi hội tụ thành một mô hình thống nhất.
✨ Điểm nổi bật
- Hybrid Attention: Kết hợp CSA và HCA để tối ưu hiệu suất ngữ cảnh dài.
- mHC (Manifold-Constrained Hyper-Connections): Tăng cường kết nối dư thừa, cải thiện ổn định tín hiệu qua các lớp.
- Muon Optimizer: Tăng tốc hội tụ và ổn định quá trình huấn luyện.
- Ngữ cảnh 1 triệu token: Hỗ trợ xử lý chuỗi đầu vào siêu dài.
- Hai giai đoạn học sâu: Rèn luyện chuyên gia miền độc lập, sau đó hội tụ bằng distillation.
- FP4 + FP8 Mixed Precision: Tối ưu bộ nhớ và tính toán cho MoE.
- Hiệu suất hàng đầu: Dẫn đầu trên các bài kiểm tra như MMLU, C-Eval, AGIEval.
💡 Vì sao đáng chú ý
DeepSeek-V4-Pro không chỉ nổi bật với quy mô lớn và ngữ cảnh dài mà còn thông qua kiến trúc Hybrid Attention giảm đáng kể FLOPs và bộ nhớ KV cache so với phiên bản trước. Điều này giúp mô hình vừa mạnh mẽ vừa hiệu quả trong triển khai thực tế, đặc biệt trong các tác vụ đòn bẩy tri thức và lập trình. Với pretraining trên 32T token và quy trình post-training hiện đại, mô hình đã vượt mặt các mô hình nguồn mở khác và gần bằng các mô hình đóng cửa trên một số tác vụ phức tạp.
#DeepSeekAI #V4Pro #MixtureOfExperts #TextGeneration #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
DeepSeek-V4-Flash-0731 Technical Report👁️ Introduction DeepSeek-V4-Flash-0731 is the official release of DeepSeek-V4-Flash, superseding the preview version, with substantially enhanced agentic capabilities. It has the same model structure as DeepSe...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...