deepseek-ai/DeepSeek-R1
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Ngày
#1 Repository Của Ngày
#10 Repository Của Ngày
🚀 DeepSeek-R1: Mô hình lý luận đầu tiên từ DeepSeek, cạnh tranh trực tiếp với OpenAI-o1
DeepSeek-R1 và DeepSeek-R1-Zero là kết quả của việc áp dụng học tăng cường (RL) trực tiếp lên mô hình nền, mà không cần bước fine-tuning giám sát (SFT) trước đó.
DeepSeek-R1 là dòng mô hình lý luận (reasoning) đầu tiên được phát triển bởi DeepSeek AI. Bao gồm hai phiên bản chính: DeepSeek-R1-Zero — mô hình huấn luyện hoàn toàn bằng RL mà không qua SFT, và DeepSeek-R1 — phiên bản được tối ưu thêm bằng dữ liệu khởi điểm lạnh (cold-start) trước khi áp dụng RL. Cả hai đều đạt hiệu nhiệu tương đương với OpenAI-o1 trên các tác vụ toán học, lập trình và lý luận phức tạp.
✨ Điểm nổi bật
- DeepSeek-R1-Zero: Mô hình đầu tiên chứng minh khả năng lý luận của LLM có thể được khuyến khích hoàn toàn qua RL mà không cần SFT.
- Khả năng suy ngẫm tự nhiên: Hỗ trợ tự xác minh, phản chiếu (reflection) và sinh ra chuỗi lý luận dài (long CoT).
- Two-stage RL + Two-stage SFT: Pipeline huấn luyện gồm hai giai đoạn RL để tối ưu hóa mẫu lý luận và căn chỉnh với sở thích con người, cùng hai giai đoạn SFT hỗ trợ khởi điểm.
- DeepSeek-R1-Distill-Qwen-32B: Mô hình con distill vượt trội hơn OpenAI-o1-mini trên nhiều bộ chuẩn đánh giá.
- Mở nguồn đầy đủ: Cung cấp 6 mô hình dense đã được distill dựa trên Llama và Qwen với kích thước từ 1.5B đến 70B.
- Hỗ trợ triển khai đa nền tảng: Tương thích với Transformers, safetensors, TGI, SageMaker, và hỗ trợ inference bằng FP8.
- Bản quyền MIT: Mã nguồn và mô hình đều được phép sử dụng thương mại và nghiên cứu.
💡 Vì sao đáng chú ý
DeepSeek-R1 không chỉ nổi bật với hiệu năng mạnh mẽ mà còn đánh dấu một bước đột phá trong nghiên cứu: chứng minh rằng khả năng lý luận có thể được hình thành hoàn toàn qua học tăng cường mà không cần dữ liệu giám sát. Điều này mở ra hướng đi mới cho các mô hình LLM trong tương lai.
Nhờ kỹ thuật distill, các mô hình nhỏ hơn như DeepSeek-R1-Distill-Qwen-32B vẫn duy trì hiệu suất cao, giúp cộng đồng nghiên cứu dễ dàng triển khai trên phần cứng hạn chế. Đây là lựa chọn lý tưởng cho nghiên cứu, phát triển ứng dụng AI cá nhân hóa, và các tác vụ đòn bẩy lượng thông tin phức tạp.
#DeepSeekR1 #ReasoningModel #OpenSource #AI #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Paper Link👁️ 1. Introduction We present DeepSeek-V3, a strong Mixture-of-Experts (MoE) language model with 671B total parameters with 37B activated for each token. To achieve efficient inference and cost-effective training, DeepSeek-V3 adopts Multi...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence Technical Report👁️ Introduction We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language models — DeepSeek-V4-Pro with 1.6T p...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
DeepSeek-V4-Flash-0731 Technical Report👁️ Introduction DeepSeek-V4-Flash-0731 is the official release of DeepSeek-V4-Flash, superseding the preview version, with substantially enhanced agentic capabilities. It has the same model structure as DeepSe...