VRxiaojie/DeepSeek-R1-Distill-Qwen-7B-RK3588S-RKLLM1.1.4
介绍 本模型是基于deepseek-ai/DeepSeek-R1-Distill-Qwen-7B(https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B)转换成rkllm格式的模型的。 在香橙派5上的部署教程：RKLLM部署语言大模型教程(https://wiki.vrxiaojie.top/Deepseek-R1-RK3588-OrangePi5/) |模型|内存占用|模型大小|量化类型| |---|---|---|---...
🚀 DeepSeek-R1-Distill-Qwen-7B chạy trên RK3588S — phiên bản RKLLM cho Orange Pi 5
Mô hình DeepSeek-R1-Distill-Qwen-7B được chuyển đổi sang định dạng RKLLM, hỗ trợ triển khai trên bo mạch phát triển RK3588S như Orange Pi 5.
Dự án này dựa trên mô hình gốc deepseek-ai/DeepSeek-R1-Distill-Qwen-7B, được chuyển đổi sang định dạng RKLLM nhằm tối ưu hiệu suất chạy trên chip RKNPU. Được thiết kế riêng cho các bo mạch phát triển sử dụng SoC RK3588S như Orange Pi 5, mô hình này áp dụng kỹ thuật lượng tù w8a8 để giảm kích thước và tiêu thụ bộ nhớ.
✨ Điểm nổi bật
- Định dạng RKLLM: Mô hình đã được chuyển đổi từ định dạng Hugging Face sang RKLLM, tương thích với trình runtime RKLLM của Rockchip.
- Hỗ trợ RK3588S: Tối ưu cho bo mạch phát triển Orange Pi 5 sử dụng chip RK3588S.
- Lượng tù w8a8: Áp dụng kỹ thuật lượng tù 8-bit cho trọng số và hoạt động, giảm kích thước mô hình xuống còn 7.63GB.
- Hướng dẫn triển khai chi tiết: Cung cấp toàn bộ bước cài đặt từ build môi trường trên PC đến triển khai trên bo mạch.
- Tùy chỉnh prompt: Hỗ trợ chỉnh sửa prompt hệ thống cho đầu ra bằng tiếng Việt hoặc tiếng Anh tùy nhu cầu.
- MIT License: Nguồn mở, cho phép sử dụng và điều chỉnh tùy ý.
💡 Vì sao đáng chú ý
Không giống các giải pháp chạy mô hình ngôn ngữ lớn trên PC hay đám mây, dự án này mang DeepSeek-R1-Distill-Qwen-7B trực tiếp lên bo mạch phát triển nhúng như Orange Pi 5 — mở cửa cho các ứng dụng AI cục bộ không cần kết nối mạng. Tuy nhiên, do giới hạn bộ nhớ (mô hình yêu cầu hơn 8GB RAM để tải đầy đủ), mô hình chưa thể chạy trên bo mạch 8GB và cần được xác minh trên phiên bản 16GB.
#DeepSeek #RK3588S #RKLLM #OrangePi5 #OpenSource #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
LTX-2.5 — Video, Audio & World Simulation Full control and customization — self-host on your infrastructure. Homepage Docs GitHub Research API Playground Discord LTX License LTX-2.5 — Video, Audio & World Simulation Full control and customiz...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
GLM-5.2 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.2 blog and GLM-5 Technical report. 📍 Use GLM-5.2 API services on Z.ai API Platform. 🔜 Try GLM-5.2 here. Paper GitHub Introduction We're introducing GLM-5.2, our latest flagshi...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
!FLUX.1 dev Grid(./devgrid.jpg) FLUX.1 dev is a 12 billion parameter rectified flow transformer capable of generating images from text descriptions. For more information, please read our blog post(https://blackforestlabs.ai/announcing-black-forest-la...