nvidia/HelpSteer2
HelpSteer2: Open-source dataset for training top-performing reward models HelpSteer2 is an open-source Helpfulness Dataset (CC-BY-4.0) that supports aligning models to become more helpful, factually correct and coherent, while being adjustable in terms of the complexity and verbosity of its responses. This dataset has been created in partnership with Scale AI. When used to tune a Llama 3.1 70B Instruct Model, we achieve 94.1% on RewardBench, which makes it the best Reward… See the full description on the dataset page: https://huggingface.co/datasets/nvidia/HelpSteer2.
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🏆 HelpSteer2: Bộ dữ liệu huấn luyện reward model xuất sắc nhất từ NVIDIA
HelpSteer2 giúp các mô hình trở nên hữu ích, chính xác và mạch lạc, đồng thời điều chỉnh được độ phức tạp và chiều dài câu trả lời.
HelpSteer2 là một bộ dữ liệu huấn luyện mở nguồn (giấy phép CC-BY-4.0) do NVIDIA phát triển kết hợp với Scale AI. Khi dùng để tinh chỉnh mô hình Llama 3.1 70B Instruct, đạt được điểm 94.1% trên RewardBench — cao nhất tính đến ngày 1/10/2024. Mô hình reward tương ứng đã được đưa lên Hugging Face dưới cả định dạng .nemo và HF Transformers.
✨ Điểm nổi bật
- Huấn luyện reward model: Đạt 94.1% trên RewardBench, dẫn đầu cả bảng xếp hạng.
- Điều chỉnh phong cách trả lời: Hỗ trợ kiểm soát độ phức tạp và chiều dài câu trả lời.
- Hợp tác với Scale AI: Được phát triển cùng đối tác hàng đầu trong lĩnh vực dữ liệu AI.
- Tích hợp công cụ RLHF: Áp dụng REINFORCE để cải thiện hiệu suất mô hình.
- Kết quả đo lường tiêu chuẩn: Đạt điểm cao trên AlpacaEval 2 LC, Arena Hard và GPT-4-Turbo MT-Bench.
- Mã nguồn mở: Toàn bộ dữ liệu và mô hình đều công khai trên Hugging Face.
💡 Vì sao đáng chú ý
HelpSteer2 nổi bật nhờ sự kết hợp giữa chất lượng dữ liệu và quy trình huấn luyện hiện đại thông qua NeMo Aligner. Không chỉ giúp cải thiện hiệu suất mô hình, mà còn hỗ trợ điều chỉnh linh hoạt theo nhu cầu sử dụng thực tế. Đặc biệt, mô hình đã vượt trội hẳn so với các mô hình lớn như GPT-4o và Claude 3.5 Sonnet trên nhiều bài kiểm tra đánh giá khác nhau.
#AI #RewardModel #OpenSource #HelpSteer2 #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
OpenAssistant Conversations Dataset (OASST1) Dataset Summary In an effort to democratize research on large-scale alignment, we release OpenAssistant Conversations (OASST1), a human-generated, human-annotated assistant-style conversation corpus consisting of 161,443 messages in 35 different languages, annotated with 461,292 quality ratings, resulting in over 10,000 fully annotated conversation trees. The corpus is a product of a worldwide crowd-sourcing effort… See the full description on the dataset page: https://huggingface.co/datasets/OpenAssistant/oasst1.
Dataset Card for Alpaca-Cleaned Repository: https://github.com/gururise/AlpacaDataCleaned Dataset Description This is a cleaned version of the original Alpaca Dataset released by Stanford. The following issues have been identified in the original release and fixed in this dataset: Hallucinations: Many instructions in the original dataset had instructions referencing data on the internet, which just caused GPT3 to hallucinate an answer. "instruction":"Summarize… See the full description on the dataset page: https://huggingface.co/datasets/yahma/alpaca-cleaned.
APIGen Function-Calling Datasets Paper | Website | Models This repo contains 60,000 data collected by APIGen, an automated data generation pipeline designed to produce verifiable high-quality datasets for function-calling applications. Each data in our dataset is verified through three hierarchical stages: format checking, actual function executions, and semantic verification, ensuring its reliability and correctness. We conducted human evaluation over 600 sampled data points… See the full description on the dataset page: https://huggingface.co/datasets/Salesforce/xlam-function-calling-60k.
Summary databricks-dolly-15k is an open source dataset of instruction-following records generated by thousands of Databricks employees in several of the behavioral categories outlined in the InstructGPT paper, including brainstorming, classification, closed QA, generation, information extraction, open QA, and summarization. This dataset can be used for any purpose, whether academic or commercial, under the terms of the Creative Commons Attribution-ShareAlike 3.0 Unported… See the full description on the dataset page: https://huggingface.co/datasets/databricks/databricks-dolly-15k.
News [2025/04/22] We split the data and kept only the medical SFT dataset (medical_o1_sft.json). The file medical_o1_sft_mix.json contains a mix of medical and general instruction data. [2025/02/22] We released the distilled dataset from Deepseek-R1 based on medical verifiable problems. You can use it to initialize your models with the reasoning chain from Deepseek-R1. [2024/12/25] We open-sourced the medical reasoning dataset for SFT, built on medical verifiable problems and an… See the full description on the dataset page: https://huggingface.co/datasets/FreedomIntelligence/medical-o1-reasoning-SFT.
Dataset Card for GSM8K Dataset Summary GSM8K (Grade School Math 8K) is a dataset of 8.5K high quality linguistically diverse grade school math word problems. The dataset was created to support the task of question answering on basic mathematical problems that require multi-step reasoning. These problems take between 2 and 8 steps to solve. Solutions primarily involve performing a sequence of elementary calculations using basic arithmetic operations (+ − ×÷) to… See the full description on the dataset page: https://huggingface.co/datasets/openai/gsm8k.
Dataset Card for Alpaca Dataset Summary Alpaca is a dataset of 52,000 instructions and demonstrations generated by OpenAI's text-davinci-003 engine. This instruction data can be used to conduct instruction-tuning for language models and make the language model follow instruction better. The authors built on the data generation pipeline from Self-Instruct framework and made the following modifications: The text-davinci-003 engine to generate the instruction data… See the full description on the dataset page: https://huggingface.co/datasets/tatsu-lab/alpaca.
Dataset Card for GLUE Dataset Summary GLUE, the General Language Understanding Evaluation benchmark (https://gluebenchmark.com/) is a collection of resources for training, evaluating, and analyzing natural language understanding systems. Supported Tasks and Leaderboards The leaderboard for the GLUE benchmark can be found at this address. It comprises the following tasks: ax A manually-curated evaluation dataset for fine-grained… See the full description on the dataset page: https://huggingface.co/datasets/nyu-mll/glue.
Dataset Card for SQuAD Dataset Summary Stanford Question Answering Dataset (SQuAD) is a reading comprehension dataset, consisting of questions posed by crowdworkers on a set of Wikipedia articles, where the answer to every question is a segment of text, or span, from the corresponding reading passage, or the question might be unanswerable. SQuAD 1.1 contains 100,000+ question-answer pairs on 500+ articles. Supported Tasks and Leaderboards Question… See the full description on the dataset page: https://huggingface.co/datasets/rajpurkar/squad.