Dataset
Idavidrein

Idavidrein/gpqa

Dataset Card for GPQA GPQA is a multiple-choice, Q&A dataset of very hard questions written and validated by experts in biology, physics, and chemistry. When attempting questions out of their own domain (e.g., a physicist answers a chemistry question), these experts get only 34% accuracy, despite spending >30m with full access to Google. We request that you do not reveal examples from this dataset in plain text or images online, to reduce the risk of leakage into foundation… See the full description on the dataset page: https://huggingface.co/datasets/Idavidrein/gpqa.

605likes
96.7kdownloads
1views

Thành tựu nổi bật

Những danh hiệu mới nhất của dự án

1
TINIX TRENDING·Chủ đề: open-domain-qa

#1 Repository Của Tháng

1
TINIX TRENDING·Chủ đề: multiple-choice-qa

#1 Repository Của Tháng

1
TINIX TRENDING·Chủ đề: multiple-choice-qa

#1 Repository Của Ngày

🧪 GPQA: Bộ câu hỏi khó nhất dành cho AI và con người

GPQA gồm 448 câu hỏi trắc nghiệm siêu khó, được viết và kiểm chứng bởi các chuyên gia thực sự đang hoặc đang học tiến sĩ. Ngay cả khi có 30 phút tìm kiếm Google, các nhà chuyên gia không chuyên ngành vẫn chỉ trả lời đúng 34%.

GPQA (General Physics Question Answering) là một bộ dữ liệu câu hỏi trắc nghiệm cực kỳ thử thách, do các nhà chuyên gia trong lĩnh vực sinh học, vật lý và hoá học soạn nên và xác thực. Mục tiêu là kiểm tra khả năng trả lời câu hỏi rất khó của cả con người và mô hình ngôn ngữ lớn. Bộ dữ liệu này được thiết kế để hỗ trợ các thí nghiệm giám sát có thể mở rộng (scalable oversight), đồng thời đóng vai trò như một bài kiểm tra năng lực chung cho LLM.

✨ Điểm nổi bật

  • 448 câu hỏi trắc nghiệm khó: Do các nhà chuyên gia PhD viết nên, phân bố trên sinh học, vật lý và hoá học.
  • Độ khó “Google-proof”: Ngay cả chuyên gia không chuyên ngành cũng chỉ đạt 34% dù có thời gian và internet.
  • AI mạnh nhất chỉ ~39%: GPT-4, mô hình mạnh nhất tính đến thời điểm nghiên cứu, vẫn chưa vượt qua 40% độ chính xác.
  • Nhiều cấu hình: Hỗ trợ bốn phiên bản bộ dữ liệu: gpqa_main, gpqa_extended, gpqa_diamond, và gpqa_experts.
  • Mở rộng cho nghiên cứu giám sát AI: Dùng để thử nghiệm cách con người giám sát hiệu quả các mô hình AI mạnh.
  • Giấy phép mở CC BY 4.0: Cho phép sử dụng tự do trong nghiên cứu và đánh giá.

💡 Vì sao đáng chú ý

GPQA không chỉ đo lường trí tuệ nhân và AI một cách riêng lẻ, mà còn kiểm chứng khả năng giám sát AI — một thách thức then chốt khi AI vượa xa con người. Độ khó của bộ câu hỏi buộc các nhà nghiên cứu phải phát triển cách thức để con người có thể tin cậy nhận thông tin đúng từ những hệ thống AI mạnh hơn mình.


#GPQA #AI #Benchmarking #ScalableOversight #LLM #TiniX

Similar Projects

Discover other similar projects and AI models.

Dataset
fka/prompts.chat

a.k.a. Awesome ChatGPT Prompts This is a Dataset Repository mirror of prompts.chat — a social platform for AI prompts. 📢 Notice This Hugging Face dataset is a mirror. For the latest prompts, features, and community contributions, please visit: 🌐 Website: prompts.chat 📦 GitHub: github.com/f/awesome-chatgpt-prompts About prompts.chat is an open-source platform where users can share, discover, and collect AI prompts from the community. The project can… See the full description on the dataset page: https://huggingface.co/datasets/fka/prompts.chat.

♥0
27.4k
Oct 27, 2026
Dataset
openai/gsm8k

Dataset Card for GSM8K Dataset Summary GSM8K (Grade School Math 8K) is a dataset of 8.5K high quality linguistically diverse grade school math word problems. The dataset was created to support the task of question answering on basic mathematical problems that require multi-step reasoning. These problems take between 2 and 8 steps to solve. Solutions primarily involve performing a sequence of elementary calculations using basic arithmetic operations (+ − ×÷) to… See the full description on the dataset page: https://huggingface.co/datasets/openai/gsm8k.

♥0
974.3k
Mar 23, 2026
Dataset
Salesforce/xlam-function-calling-60k

APIGen Function-Calling Datasets Paper | Website | Models This repo contains 60,000 data collected by APIGen, an automated data generation pipeline designed to produce verifiable high-quality datasets for function-calling applications. Each data in our dataset is verified through three hierarchical stages: format checking, actual function executions, and semantic verification, ensuring its reliability and correctness. We conducted human evaluation over 600 sampled data points… See the full description on the dataset page: https://huggingface.co/datasets/Salesforce/xlam-function-calling-60k.

♥0
17.7k
Jan 24, 2025
Dataset
FreedomIntelligence/medical-o1-reasoning-SFT

News [2025/04/22] We split the data and kept only the medical SFT dataset (medical_o1_sft.json). The file medical_o1_sft_mix.json contains a mix of medical and general instruction data. [2025/02/22] We released the distilled dataset from Deepseek-R1 based on medical verifiable problems. You can use it to initialize your models with the reasoning chain from Deepseek-R1. [2024/12/25] We open-sourced the medical reasoning dataset for SFT, built on medical verifiable problems and an… See the full description on the dataset page: https://huggingface.co/datasets/FreedomIntelligence/medical-o1-reasoning-SFT.

♥0
21.4k
Apr 22, 2025
Dataset
yahma/alpaca-cleaned

Dataset Card for Alpaca-Cleaned Repository: https://github.com/gururise/AlpacaDataCleaned Dataset Description This is a cleaned version of the original Alpaca Dataset released by Stanford. The following issues have been identified in the original release and fixed in this dataset: Hallucinations: Many instructions in the original dataset had instructions referencing data on the internet, which just caused GPT3 to hallucinate an answer. "instruction":"Summarize… See the full description on the dataset page: https://huggingface.co/datasets/yahma/alpaca-cleaned.

♥0
20.7k
Apr 10, 2023
Dataset
Congliu/Chinese-DeepSeek-R1-Distill-data-110k

中文基于满血DeepSeek-R1蒸馏数据集(Chinese-Data-Distill-From-R1) 🤗 Hugging Face   |   🤖 ModelScope    |   🚀 Github    |   📑 Blog 注意:提供了直接SFT使用的版本,点击下载。将数据中的思考和答案整合成output字段,大部分SFT代码框架均可直接直接加载训练。 本数据集为中文开源蒸馏满血R1的数据集,数据集中不仅包含math数据,还包括大量的通用类型数据,总数量为110K。 为什么开源这个数据? R1的效果十分强大,并且基于R1蒸馏数据SFT的小模型也展现出了强大的效果,但检索发现,大部分开源的R1蒸馏数据集均为英文数据集。 同时,R1的报告中展示,蒸馏模型中同时也使用了部分通用场景数据集。 为了帮助大家更好地复现R1蒸馏模型的效果,特此开源中文数据集。 该中文数据集中的数据分布如下:… See the full description on the dataset page: https://huggingface.co/datasets/Congliu/Chinese-DeepSeek-R1-Distill-data-110k.

♥0
2.0k
Feb 21, 2025
Dataset
Open-Orca/OpenOrca

🐋 The OpenOrca Dataset! 🐋 We are thrilled to announce the release of the OpenOrca dataset! This rich collection of augmented FLAN data aligns, as best as possible, with the distributions outlined in the Orca paper. It has been instrumental in generating high-performing model checkpoints and serves as a valuable resource for all NLP researchers and developers! Official Models Mistral-7B-OpenOrca Our latest model, the first 7B to score better overall than all… See the full description on the dataset page: https://huggingface.co/datasets/Open-Orca/OpenOrca.

♥0
13.0k
Feb 19, 2025
Dataset
OpenAssistant/oasst1

OpenAssistant Conversations Dataset (OASST1) Dataset Summary In an effort to democratize research on large-scale alignment, we release OpenAssistant Conversations (OASST1), a human-generated, human-annotated assistant-style conversation corpus consisting of 161,443 messages in 35 different languages, annotated with 461,292 quality ratings, resulting in over 10,000 fully annotated conversation trees. The corpus is a product of a worldwide crowd-sourcing effort… See the full description on the dataset page: https://huggingface.co/datasets/OpenAssistant/oasst1.

♥0
32.0k
May 2, 2023
Dataset
HuggingFaceFW/fineweb-edu

📚 FineWeb-Edu 1.3 trillion tokens of the finest educational data the 🌐 web has to offer Paper: https://arxiv.org/abs/2406.17557 What is it? 📚 FineWeb-Edu dataset consists of 1.3T tokens and 5.4T tokens (FineWeb-Edu-score-2) of educational web pages filtered from 🍷 FineWeb dataset. This is the 1.3 trillion version. To enhance FineWeb's quality, we developed an educational quality classifier using annotations generated by LLama3-70B-Instruct. We… See the full description on the dataset page: https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu.

♥0
433.8k
Jul 11, 2025