virtuoussy/Qwen2.5-7B-Instruct-RLVR
Model Details The generative reward model used in paper "Expanding RL with Verifiable Rewards Across Diverse Domains". Inputting the question, label and the response to be evaluated, the model will judge if the response is right. Quick start python L...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🧠 Qwen2.5-7B-Instruct-RLVR — Mô hình phần thưởng sinh đa ngôn ngữ
Mô hình phần thưởng sinh (generative reward model) dùng trong bài báo "Expanding RL with Verifiable Rewards Across Diverse Domains", đánh giá xem câu trả lời có khớp với đáp án tham chiếu hay không.
Đây là mô hình phần thưởng sinh được huấn luyện từ Qwen2.5-7B-Instruct, thiết kế để hỗ trợ việc mở rộng RL (Reinforcement Learning) với các phần thưởng có thể kiểm chứng được trên nhiều lĩnh vực ngôn ngữ khác nhau. Mô hình nhận đầu vào câu hỏi, nhãn (đáp án tham chiếu) và câu trả lời cần đánh giá, sau đó phân tích và đưa ra phán định YES (đúng) hoặc NO (sai).
✨ Điểm nổi bật
- Đánh giá chính xác: So sánh câu trả lời cuối cùng của quá trình giải với đáp án tham chiếu.
- Đa ngôn ngữ: Hỗ trợ 14 ngôn ngữ bao gồm tiếng Việt, tiếng Trung, tiếng Anh, tiếng Pháp, tiếng Tây Ban Nha, tiếng Bồ Đào Nha, tiếng Đức, tiếng Ý, tiếng Nga, tiếng Nhật, tiếng Hàn và tiếng Thái.
- Độc lập ngôn ngữ: Đánh giá mà không phụ thuộc vào ngôn ngữ của đáp án tham chiếu.
- Đầu ra chuẩn xác: Chỉ trả về duy nhất từ YES hoặc NO, không kèm giải thích.
- Tích hợp dễ dàng: Hỗ trợ tải về và sử dụng trực tiếp qua Hugging Face Transformers.
- Hỗ trợ huấn luyện từ xa: Cung cấp script
launch_reward.shđể triển khai như một dịch vụ reward từ xa tạihttp://127.0.0.1:8000/get_reward. - Tương thích RLHF: Dùng làm mô hình phần thưởng trong các pipeline huấn luyện RL tiên tiến.
💡 Vì sao đáng chú ý
Qwen2.5-7B-Instruct-RLVR khác biệt ở khả năng đánh giá logic và ngữ nghĩa của câu trả lời một cách chính xác và ngôn ngữ trung lập. Thay vì dựa vào điểm số tương đồng, mô hình phân tích toàn bộ quá trình giải và đưa ra phán định rõ ràng. Đây là công cụ hữu ích cho việc xây dựng hệ thống huấn luyện mô hình ngôn ngữ lớn thông qua RL với phản hồi có thể kiểm chứng, đặc biệt trong các bài toán đa ngôn ngữ và đáp án dạng ký tự, số hoặc biểu thức.
#Qwen25 #RewardModel #RLVR #HuggingFace #TiniX
Similar Projects
Discover other similar projects and AI models.
Finetune Llama 3.1, Gemma 2, Mistral 2-5x faster with 70% less memory via Unsloth! We have a Qwen 2.5 (all model sizes) free Google Colab Tesla T4 notebook(https://colab.research.google.com/drive/1Kose-ucXO1IBaZq5BvbwWieuubP7hxvQ?usp=sharing). Also...
Model Card for Aya 101 Model Summary The Aya model is a massively multilingual generative language model that follows instructions in 101 languages. Aya outperforms mT0(https://huggingface.co/bigscience/mt0-xxl) and BLOOMZ(https://huggingface.co/big...
transformers-AutoModelForCausalLM !NOTE LoRA by mouseEliauk: https://modelscope.cn/models/mouseEliauk/mirau-7b-RP-base !TIP Experimental quants for testing: lwd-Mirau-7b-RP-Merged-GGUF-IQ-Imatrix(https://huggingface.co/Lewdiculous/lwd-Mirau-7b-RP-Me...
GlotLID !GlotLID(https://img.shields.io/badge/🤗-Open%20In%20Spaces-blue.svg)(https://huggingface.co/spaces/cis-lmu/glotlid-space) Description GlotLID is a Fasttext language identification (LID) model that supports more than 2000 labels. Latest: Glo...
huihui-ai/Qwen2.5-72B-Instruct-abliterated This is an uncensored version of Qwen/Qwen2.5-72B-Instruct(https://huggingface.co/Qwen/Qwen2.5-72B-Instruct) created with abliteration (see remove-refusals-with-transformers(https://github.com/Sumandora/rem...
!Oxy 1 Small(https://cdn-uploads.huggingface.co/production/uploads/64fb80c8bb362cbf2ff96c7e/tTIVIblPUbTYnlvHQQjXB.png) Introduction Oxy 1 Small is a fine-tuned version of the Qwen/Qwen2.5-14B-Instruct(https://huggingface.co/Qwen/Qwen/Qwen2.5-14B-Inst...
!logo.jpg(logo.jpg) Ivy-VL is a lightweight multimodal model with only 3B parameters. It accepts both image and text inputs to generate text outputs. Thanks to its lightweight design, it can be deployed on edge devices such as AI glasses and smartpho...
Finetune Llama 3.1, Gemma 2, Mistral 2-5x faster with 70% less memory via Unsloth! We have a Qwen 2.5 (all model sizes) free Google Colab Tesla T4 notebook(https://colab.research.google.com/drive/1Kose-ucXO1IBaZq5BvbwWieuubP7hxvQ?usp=sharing). Also...
About static quants of https://huggingface.co/Orion-zhen/Qwen2.5-7B-Instruct-Uncensored weighted/imatrix quants are available at https://huggingface.co/mradermacher/Qwen2.5-7B-Instruct-Uncensored-i1-GGUF Usage If you are unsure how to use GGUF files...