lastmass/Qwen3_Medical_GRPO
中文版说明(READMEzh.md) Qwen3MedicalGRPO This is a fine-tuned version of unsloth/Qwen3-4B-Base, specializing in the medical domain. Space demonstrates the lastmass/Qwen3MedicalGRPO model (Q4KM quantized version). Qwen3MedicalGRPO Space(CPU ONLY VERY SLOW)...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🏥 Qwen3 Medical GRPO — Mô hình ngôn ngữ y học được tinh chỉnh bởi GRPO
Fine-tune Qwen3-4B-Base cho ngành y học, kết hợp SFT đa giai đoạn và GRPO.
Qwen3 Medical GRPO là phiên bản được tinh chỉnh từ unsloth/Qwen3-4B-Base, chuyên về lĩnh vực y học. Mô hình trước tiên trải qua nhiều giai đoạn Supervised Fine-Tuning (SFT) để nắm vững kiến thức nền tảng và khả năng trò chuyện trong lĩnh vực y học. Sau đó, thuật toán GRPO (Group Relative Policy Optimization) được áp dụng để tối ưu, sử dụng các hàm reward độ chính xác (ACC) khác nhau nhằm nâng cao độ chính xác, lý luận và độ tin cậy khi trả lời câu hỏi y học.
✨ Điểm nổi bật
- Fine-tune từ Qwen3-4B-Base: Sử dụng nền tảng mạnh của Qwen3 làm cơ sở.
- SFT đa giai đoạn: Xây dựng kiến thức y học và khả năng trò chuyện ban đầu.
- Tối ưu bằng GRPO: Áp dụng thuật toán Group Relative Policy Optimization với hàm reward ACC.
- Tăng cường lý luận: Cải thiện khả năng phân tích logic và độ tin cậy.
- Hỗ trợ suy luận lâm sàng sâu: Đặt token
<start_working_out>để kích hoạt chế độ nghĩ. - Hỗ trợ Ollama và vLLM: Dễ dàng triển khai qua
ollama runhoặc framework vLLM. - Bản đồ ngôn ngữ đa ngôn ngữ: Hỗ trợ tiếng Anh và tiếng Trung.
- Mã nguồn mở Apache-2.0: Có thể tự do sử dụng và phát triển.
💡 Vì sao đáng chú ý
Không chỉ là bản fine-tune đơn thuần, mô hình kết hợp SFT và GRPO để đạt được sự tối ưu toàn diện. Đặc biệt, việc thiết thiết hàm reward dựa trên độ chính xác (ACC) giúp mô hình không chỉ trả lời nhanh mà còn chính xác và logic. Phù hợp cho các ứng dụng như hệ thống hỗ trợ chẩn đoán, giáo dục y học và nghiên cứu lâm sàng.
#Qwen3 #MedicalAI #GRPO #OpenSource #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
GLM-5.2 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.2 blog and GLM-5 Technical report. 📍 Use GLM-5.2 API services on Z.ai API Platform. 🔜 Try GLM-5.2 here. Paper GitHub Introduction We're introducing GLM-5.2, our latest flagshi...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...