WizardLMTeam/WizardLM_evol_instruct_V2_196k
News 🔥 🔥 🔥 [08/11/2023] We release WizardMath Models. 🔥 Our WizardMath-70B-V1.0 model slightly outperforms some closed-source LLMs on the GSM8K, including ChatGPT 3.5, Claude Instant 1 and PaLM 2 540B. 🔥 Our WizardMath-70B-V1.0 model achieves 81.6 pass@1 on the GSM8k Benchmarks, which is 24.8 points higher than the SOTA open-source LLM. 🔥 Our WizardMath-70B-V1.0 model achieves 22.7 pass@1 on the MATH Benchmarks, which is 9.2 points higher than the SOTA open-source LLM.… See the full description on the dataset page: https://huggingface.co/datasets/WizardLMTeam/WizardLM_evol_instruct_V2_196k.
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#2 Repository Của Tháng
#2 Repository Của Tháng
#2 Repository Của Tháng
🧠 Bộ dữ liệu huấn luyện 196K mẫu lệnh bằng kỹ thuật Evol-Instruct
Bộ dữ liệu huấn luyện gồm 143K mẫu lệnh tiếng Anh được tạo ra thông qua kỹ thuật evol-instruct, kết hợp Alpaca và ShareGPT, dùng để huấn luyện các mô hình WizardLM và WizardMath.
Đây là phiên bản tối ưu nhất của dữ liệu huấn luyện Evol-Instruct cho mô hình WizardLM. Bộ dữ liệu này chứa khoảng 143.000 mẫu lệnh tiếng Anh được sinh ra thông qua quá trình tiến hóa (evol-instruct). Để có bộ dữ liệu đầy đủ với khoảng 196.000 dòng, người dùng cần kết hợp với bộ dữ liệu gốc ShareGPT do cộng đồng chia sẻ.
✨ Điểm nổi bật
- 143K mẫu lệnh tiếng Anh: Dữ liệu được tạo ra bằng kỹ thuật evol-instruct, kết hợp nguồn từ Alpaca và ShareGPT.
- Dữ liệu huấn luyện WizardLM: Đây là phiên bản được tối ưu nhất của dữ liệu Evol-Instruct dùng cho việc huấn luyện mô hình ngôn ngữ lớn WizardLM.
- Hỗ trợ kết hợp ShareGPT: Do hạn chế bởi giấy phép sử dụng dữ liệu, người dùng cần hợp nhất với bản gốc của ShareGPT để có bộ dữ liệu đầy đủ 196K mẫu.
- Định dạng JSON: Dễ dàng tích hợp với các thư viện như Hugging Face Datasets, Pandas, Polars.
- Mở cửa MIT License: Dễ dàng tái sử dụng và phân phối trong các dự án nghiên cứu và thương mại.
💡 Vì sao đáng chú ý
Kỹ thuật evol-instruct giúp tạo ra các mẫu lệnh đa dạng và phong phú hơn so với phương pháp thu thập dữ liệu thủ công truyền thống, giúp cải thiện đáng kể hiệu suất của mô hình ngôn ngữ lớn. Bộ dữ liệu này là nền tảng giúp các mô hình WizardLM và WizardMath đạt được kết quả xuất sắc trên các bài kiểm tra như GSM8K và MATH.
Phù hợp cho các nhà nghiên cứu và kỹ sư muốn xây dựng hoặc cải tiến mô hình ngôn ngữ lớn thông qua việc sử dụng dữ liệu huấn luyện chất lượng cao.
#WizardLM #EvolInstruct #Dataset #MachineLearning #TiniX
Similar Projects
Discover other similar projects and AI models.
Dataset Card for HH-RLHF Dataset Summary This repository provides access to two different kinds of data: Human preference data about helpfulness and harmlessness from Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback. These data are meant to train preference (or reward) models for subsequent RLHF training. These data are not meant for supervised training of dialogue agents. Training dialogue agents on these data is likely… See the full description on the dataset page: https://huggingface.co/datasets/Anthropic/hh-rlhf.
中文基于满血DeepSeek-R1蒸馏数据集(Chinese-Data-Distill-From-R1) 🤗 Hugging Face | 🤖 ModelScope | 🚀 Github | 📑 Blog 注意:提供了直接SFT使用的版本,点击下载。将数据中的思考和答案整合成output字段,大部分SFT代码框架均可直接直接加载训练。 本数据集为中文开源蒸馏满血R1的数据集,数据集中不仅包含math数据,还包括大量的通用类型数据,总数量为110K。 为什么开源这个数据? R1的效果十分强大,并且基于R1蒸馏数据SFT的小模型也展现出了强大的效果,但检索发现,大部分开源的R1蒸馏数据集均为英文数据集。 同时,R1的报告中展示,蒸馏模型中同时也使用了部分通用场景数据集。 为了帮助大家更好地复现R1蒸馏模型的效果,特此开源中文数据集。 该中文数据集中的数据分布如下:… See the full description on the dataset page: https://huggingface.co/datasets/Congliu/Chinese-DeepSeek-R1-Distill-data-110k.
a.k.a. Awesome ChatGPT Prompts This is a Dataset Repository mirror of prompts.chat — a social platform for AI prompts. 📢 Notice This Hugging Face dataset is a mirror. For the latest prompts, features, and community contributions, please visit: 🌐 Website: prompts.chat 📦 GitHub: github.com/f/awesome-chatgpt-prompts About prompts.chat is an open-source platform where users can share, discover, and collect AI prompts from the community. The project can… See the full description on the dataset page: https://huggingface.co/datasets/fka/prompts.chat.
Dataset Card for GSM8K Dataset Summary GSM8K (Grade School Math 8K) is a dataset of 8.5K high quality linguistically diverse grade school math word problems. The dataset was created to support the task of question answering on basic mathematical problems that require multi-step reasoning. These problems take between 2 and 8 steps to solve. Solutions primarily involve performing a sequence of elementary calculations using basic arithmetic operations (+ − ×÷) to… See the full description on the dataset page: https://huggingface.co/datasets/openai/gsm8k.
Summary databricks-dolly-15k is an open source dataset of instruction-following records generated by thousands of Databricks employees in several of the behavioral categories outlined in the InstructGPT paper, including brainstorming, classification, closed QA, generation, information extraction, open QA, and summarization. This dataset can be used for any purpose, whether academic or commercial, under the terms of the Creative Commons Attribution-ShareAlike 3.0 Unported… See the full description on the dataset page: https://huggingface.co/datasets/databricks/databricks-dolly-15k.
News [2025/04/22] We split the data and kept only the medical SFT dataset (medical_o1_sft.json). The file medical_o1_sft_mix.json contains a mix of medical and general instruction data. [2025/02/22] We released the distilled dataset from Deepseek-R1 based on medical verifiable problems. You can use it to initialize your models with the reasoning chain from Deepseek-R1. [2024/12/25] We open-sourced the medical reasoning dataset for SFT, built on medical verifiable problems and an… See the full description on the dataset page: https://huggingface.co/datasets/FreedomIntelligence/medical-o1-reasoning-SFT.
Dataset Card for MMLU Dataset Summary Measuring Massive Multitask Language Understanding by Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, and Jacob Steinhardt (ICLR 2021). This is a massive multitask test consisting of multiple-choice questions from various branches of knowledge. The test spans subjects in the humanities, social sciences, hard sciences, and other areas that are important for some people to learn. This covers 57… See the full description on the dataset page: https://huggingface.co/datasets/cais/mmlu.
Dataset Card for "imdb" Dataset Summary Large Movie Review Dataset. This is a dataset for binary sentiment classification containing substantially more data than previous benchmark datasets. We provide a set of 25,000 highly polar movie reviews for training, and 25,000 for testing. There is additional unlabeled data for use as well. Supported Tasks and Leaderboards More Information Needed Languages More Information Needed… See the full description on the dataset page: https://huggingface.co/datasets/stanfordnlp/imdb.
Dataset Card for Dataset Name This is the dataset that made OpenHermes 2.5 and Nous Hermes 2 series of models. Support me on GitHub sponsors <3 : https://github.com/sponsors/teknium1 Dataset Details Dataset Description The Open Hermes 2/2.5 and Nous Hermes 2 models have made significant advancements of SOTA LLM's over recent months, and are underpinned by this exact compilation and curation of many open source datasets and custom created synthetic… See the full description on the dataset page: https://huggingface.co/datasets/teknium/OpenHermes-2.5.