mrlbenchmarks/global-piqa-nonparallel
Global PIQA Non-Parallel Global PIQA is a participatory commonsense reasoning benchmark for over 100 languages, constructed by hand by over 350 researchers from over 65 countries around the world. The non-parallel split covers 136 language varieties, covering five continents, 18 language families, and 24 writing systems. In this non-parallel split, over 50% of examples reference local foods, customs, traditions, or other culturally-specific elements. Details are in our preprint:… See the full description on the dataset page: https://huggingface.co/datasets/mrlbenchmarks/global-piqa-nonparallel.
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🌍 Global PIQA Non-Parallel: Bài kiểm tra lý luận chung đa ngôn ngữ thực chiến
Bộ dữ liệu đánh giá lý luận chung kiến thứa xã hội cho hơn 130 ngôn ngữ và địa phương trên 5 lục địa, được xây dựng thủ công bởi hơn 350 nhà nghiên cứu từ 65 quốc gia.
Global PIQA Non-Parallel là một bộ dữ liệu con không đối xứng thuộc dự án Global PIQA, một bản đánh giá lý luận chung (commonsense reasoning) do hơn 350 nhà nghiên cứu từ hơn 65 quốc gia tham gia xây dựng. Phiên bản này bao phủ 136 biến thể ngôn ngữ trên 5 lục địa, thuộc 18 gia đình ngôn ngữ và 24 hệ thống chữ viết khác nhau. Hơn 50% các ví dụ tham chiếu trực tiếp đến thực phẩm, tục lễ, truyền thống hoặc các yếu tố văn hóa đặc trưng của từng vùng miền.
✨ Điểm nổi bật
- 136 biến thể ngôn ngữ: Bao phủ 5 lục địa, 18 gia đình ngôn ngữ, 24 hệ thống chữ viết.
- Phiên bản không đối xứng (non-parallel): Mỗi ngôn ngữ có bộ câu hỏi riêng, không dịch ngữ từ ngôn ngữ khác.
- Hơn 50% nội dung địa phương: Tham chiếu trực tiếp đến thực phẩm, tục lễ, truyền thống đặc trưng.
- Xây dựng thủ công: Được tạo ra bởi hơn 350 nhà nghiên cứu từ 65+ quốc gia.
- Chỉ có tập test: Dùng để đánh giá khả năng lý luận chung của mô hình trong ngữ cảnh đa ngôn ngữ và đa văn hóa.
- Hỗ trợ đa hệ thống chữ viết: Bao gồm Arab, Latn, Cyrl, Deva, Beng, v.v.
💡 Vì sao đáng chú ý
Khác với các bộ dữ liệu đa ngôn ngữ khác thường dựa trên dịch máy, Global PIQA Non-Parallel được xây dựng hoàn toàn thủ công bởi cộng đồng toàn cầu. Điều này đảm bảo tính chân xác văn hóa và ngữ nghĩa sâu sắc, đặc biệt quan trọng cho các mô hình AI cần hiểu biết bối cảnh địa phương. Bộ dữ liệu phù hợp để đánh giá khả năng lý luận chung của mô hình trong các kịch bản thực tế, nơi kiến thức chung không thể tách rời khỏi nền văn hóa và ngôn ngữ cụ thể.
#GlobalPIQA #CommonsenseReasoning #MultilingualDataset #AI #TiniX
Similar Projects
Discover other similar projects and AI models.
BOUQuET 💐: Benchmark and Open initiative for Universal Quality Evaluation in Translation BOUQuET is a multi-way parallel, multi-centric and multi-register/domain dataset and benchmark for machine translation quality. The underlying texts have been handcrafted by linguists in 8 diverse languages (Egyptian Arabic, French, German, Hindi, Indonesian, Mandarin Chinese, Russian, and Spanish) and translated to English and 266 other languoids (language + script combinations). The… See the full description on the dataset page: https://huggingface.co/datasets/facebook/bouquet.
MMS ulab v2 is a a massively multilingual speech dataset that contains 8900 hours of unlabeled speech across 4023 languages. In total, it contains 189 language families. It can be used for language identification, spoken language modelling, or speech representation learning. MMS ulab v2 is a reproduced and extended version of the MMS ulab dataset originally proposed in Scaling Speech Technology to 1000+ Languages, covering more languages and containing more data. This dataset includes the raw… See the full description on the dataset page: https://huggingface.co/datasets/espnet/mms_ulab_v2.
Liberating 3T of the finest tokens from PDFs What is this? As we run out of web pages to process, the natural question has always been: what to do next? Only a few knew about a data source that everyone avoided for ages, due to its incredible extraction cost and complexity: PDFs. 📄 FinePDFs is exactly that. It is the largest publicly available corpus sourced exclusively from PDFs, containing about 3 trillion tokens across 475 million documents in 1733 languages. Compared to… See the full description on the dataset page: https://huggingface.co/datasets/HuggingFaceFW/finepdfs.
Glot500 Corpus A dataset of natural language data collected by putting together more than 150 existing mono-lingual and multilingual datasets together and crawling known multilingual websites. The focus of this dataset is on 500 extremely low-resource languages. (More Languages still to be uploaded here) This dataset is used to train the Glot500 model. Homepage: homepage Repository: github Paper: acl, arxiv This dataset has the identical data format as the Taxi1500 Raw Data… See the full description on the dataset page: https://huggingface.co/datasets/cis-lmu/Glot500.
🥂 FineWeb2 A sparkling update with 1000s of languages What is it? This is the second iteration of the popular 🍷 FineWeb dataset, bringing high quality pretraining data to over 1000 🗣️ languages. The 🥂 FineWeb2 dataset is fully reproducible, available under the permissive ODC-By 1.0 license and extensively validated through hundreds of ablation experiments. In particular, on the set of 9 diverse languages we used to guide our processing decisions, 🥂… See the full description on the dataset page: https://huggingface.co/datasets/HuggingFaceFW/fineweb-2.
DCAD-2000: A Multilingual Dataset across 2000+ Languages with Data Cleaning as Anomaly Detection (NeurIPS 2025) 😊 2025.9.19: DCAD-2000: A Multilingual Dataset across 2000+ Languages with Data Cleaning as Anomaly Detection, has been accepted at NeurIPS 2025 Datasets and Benchmarks Track. Paper: A Multilingual Dataset across 2000+ Languages with Data Cleaning as Anomaly Detection Github: https://github.com/yl-shen/DCAD-2000 Dataset (HuggingFace):… See the full description on the dataset page: https://huggingface.co/datasets/openbmb/DCAD-2000.
💬 FineTranslations The world's knowledge in 1+1T tokens of parallel text What is it? This dataset contains over 1 trillion tokens of parallel text in English and 500+ languages. It was obtained by translating data from 🥂 FineWeb2 into English using Gemma3 27B. We relied on datatrove's inference runner to deploy a synthetic data pipeline at scale. Its checkpointing and VLLM lifecycle management features allowed us to use leftover compute from the HF… See the full description on the dataset page: https://huggingface.co/datasets/HuggingFaceFW/finetranslations.
💬 FineTranslations The world's knowledge in 1+1T tokens of parallel text NOTE: this is the Edu version of the dataset, containing only the top 10% scoring data based on an educational classifier applied to the English translations. It has no splits. For the base dataset, see here. What is it? This dataset contains over 1 trillion tokens of parallel text in English and 500+ languages. It was obtained by translating data from 🥂 FineWeb2 into English… See the full description on the dataset page: https://huggingface.co/datasets/HuggingFaceFW/finetranslations-edu.
Dataset Card for xP3x Dataset Summary xP3x (Crosslingual Public Pool of Prompts eXtended) is a collection of prompts & datasets across 277 languages & 16 NLP tasks. It contains all of xP3 + much more! It is used for training future contenders of mT0 & BLOOMZ at project Aya @Cohere Labs 🧡 Creation: The dataset can be recreated using instructions available here together with the file in this repository named xp3x_create.py. We provide this version to save… See the full description on the dataset page: https://huggingface.co/datasets/CohereLabs/xP3x.