lchakkei/OpenOrca-Traditional-Chinese
🐋 OpenOrca-Chinese 数据集！🐋 感謝 Open-Orca/OpenOrca 資料集的發布，為廣大NLP研究人員和開發者帶來了寶貴的資源！ 這是一個對 Open-Orca/OpenOrca 資料集中文翻譯的版本，翻譯引擎為 Google 翻譯，希望能為中文 LLM 研究做出一點點貢獻。 Dataset Summary The OpenOrca dataset is a collection of augmented FLAN Collection data. Currently ~1M GPT-4 completions, and ~3.2M GPT-3.5 completions. It is tabularized in alignment with the distributions presented in the ORCA paper and currently represents a partial completion of the full intended dataset, with ongoing… See the full description on the dataset page: https://huggingface.co/datasets/lchakkei/OpenOrca-Traditional-Chinese.
🐋 OpenOrca-Traditional-Chinese: Bộ dữ liệu NLP tiếng Trung quy mô lớn từ OpenOrca
Bản dịch tiếng Trung truyền thống của OpenOrca, cung cấp 4,2 triệu mẫu câu hỏi-trả lời từ GPT-4 và GPT-3.5 cho nghiên cứu LLM.
Đây là bản dịch tiếng Trung (truyền thống) của bộ dữ liệu OpenOrca, được tạo bằng Google Translate. Bộ dữ liệu này dựa trên FLAN Collection và chứa khoảng 1 triệu phản hồi từ GPT-4 và 3,2 triệu từ GPT-3.5, được sử dụng chủ yếu cho huấn luyện và đánh giá các mô hình ngôn ngữ tự nhiên.
✨ Điểm nổi bật
- 4,2 triệu mẫu dữ liệu: Tổng hợp từ GPT-4 (~1 triệu) và GPT-3.5 (~3,2 triệu).
- Dịch tiếng Trung truyền thống: Sử dụng Google Translate để dịch toàn bộ nội dung.
- Cấu trúc chuẩn: Gồm 4 trường: id, system_prompt, question, response.
- Nhiều nguồn dữ liệu: id chứa tiền tố niv, t0, cot, hoặc flan tương ứng với nguồn FLAN Collection.
- Định dạng Parquet: Tối ưu hóa cho hiệu suất truy xuất và xử lý.
- Hỗ trợ nhiều nhiệm vụ NLP: Bao gồm phân loại, trả lời câu hỏi, tóm tắt, sinh văn bản và trích xuất đặc trưng.
💡 Vì sao đáng chú ý
Bản dịch tiếng Trung truyền thường này giúp các nhà nghiên cứu và nhà phát triển trong cộng đồng người Việt và miền Nam Trung Quốc tiếp cận dễ dàng với dữ liệu chất lượng cao từ OpenOrca. Việc sử dụng Google Translate có thể gây mất ngữ cảnh một số trường hợp, nhưng đây vẫn là nguồn tài nguyên quý giá cho việc huấn luyện và đánh giá các mô hình ngôn ngữ lớn (LLM) tiếng Trung.
#OpenOrca #TraditionalChinese #NLP #LLM #Dataset #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
🐋 The OpenOrca Dataset! 🐋 We are thrilled to announce the release of the OpenOrca dataset! This rich collection of augmented FLAN data aligns, as best as possible, with the distributions outlined in the Orca paper. It has been instrumental in generating high-performing model checkpoints and serves as a valuable resource for all NLP researchers and developers! Official Models Mistral-7B-OpenOrca Our latest model, the first 7B to score better overall than all… See the full description on the dataset page: https://huggingface.co/datasets/Open-Orca/OpenOrca.
Scaling Synthetic Data Creation with 1,000,000,000 Personas This repo releases data introduced in our paper Scaling Synthetic Data Creation with 1,000,000,000 Personas: We propose a novel persona-driven data synthesis methodology that leverages various perspectives within a large language model (LLM) to create diverse synthetic data. To fully exploit this methodology at scale, we introduce PERSONA HUB – a collection of 1 billion diverse personas automatically curated from web… See the full description on the dataset page: https://huggingface.co/datasets/proj-persona/PersonaHub.
COIG-CQIA：Quality is All you need for Chinese Instruction Fine-tuning Dataset Details Dataset Description 欢迎来到COIG-CQIA，COIG-CQIA全称为Chinese Open Instruction Generalist - Quality is All You Need， 是一个开源的高质量指令微调数据集，旨在为中文NLP社区提供高质量且符合人类交互行为的指令微调数据。COIG-CQIA以中文互联网获取到的问答及文章作为原始数据，经过深度清洗、重构及人工审核构建而成。本项目受LIMA: Less Is More for Alignment等研究启发，使用少量高质量的数据即可让大语言模型学习到人类交互行为，因此在数据构建中我们十分注重数据的来源、质量与多样性，数据集详情请见数据介绍以及我们接下来的论文。 Welcome to the… See the full description on the dataset page: https://huggingface.co/datasets/m-a-p/COIG-CQIA.
Dataset Card for Wikimedia Wikipedia Dataset Summary Wikipedia dataset containing cleaned articles of all languages. The dataset is built from the Wikipedia dumps (https://dumps.wikimedia.org/) with one subset per language, each containing a single train split. Each example contains the content of one full Wikipedia article with cleaning to strip markdown and unwanted sections (references, etc.). All language subsets have already been processed for recent dump… See the full description on the dataset page: https://huggingface.co/datasets/wikimedia/wikipedia.
Dataset containing synthetically generated (by GPT-3.5 and GPT-4) short stories that only use a small vocabulary. Described in the following paper: https://arxiv.org/abs/2305.07759. The models referred to in the paper were trained on TinyStories-train.txt (the file tinystories-valid.txt can be used for validation loss). These models can be found on Huggingface, at roneneldan/TinyStories-1M/3M/8M/28M/33M/1Layer-21M. Additional resources: tinystories_all_data.tar.gz - contains a superset of… See the full description on the dataset page: https://huggingface.co/datasets/roneneldan/TinyStories.
Dataset Card for "wikitext" Dataset Summary The WikiText language modeling dataset is a collection of over 100 million tokens extracted from the set of verified Good and Featured articles on Wikipedia. The dataset is available under the Creative Commons Attribution-ShareAlike License. Compared to the preprocessed version of Penn Treebank (PTB), WikiText-2 is over 2 times larger and WikiText-103 is over 110 times larger. The WikiText dataset also features a far… See the full description on the dataset page: https://huggingface.co/datasets/Salesforce/wikitext.
Infinity Instruct Beijing Academy of Artificial Intelligence (BAAI) [Paper][Code][🤗] The quality and scale of instruction data are crucial for model performance. Recently, open-source models have increasingly relied on fine-tuning datasets comprising millions of instances, necessitating both high quality and large scale. However, the open-source community has long been constrained by the high costs associated with building such extensive and high-quality instruction… See the full description on the dataset page: https://huggingface.co/datasets/BAAI/Infinity-Instruct.
a.k.a. Awesome ChatGPT Prompts This is a Dataset Repository mirror of prompts.chat — a social platform for AI prompts. 📢 Notice This Hugging Face dataset is a mirror. For the latest prompts, features, and community contributions, please visit: 🌐 Website: prompts.chat 📦 GitHub: github.com/f/awesome-chatgpt-prompts About prompts.chat is an open-source platform where users can share, discover, and collect AI prompts from the community. The project can… See the full description on the dataset page: https://huggingface.co/datasets/fka/prompts.chat.
Dataset Card for GSM8K Dataset Summary GSM8K (Grade School Math 8K) is a dataset of 8.5K high quality linguistically diverse grade school math word problems. The dataset was created to support the task of question answering on basic mathematical problems that require multi-step reasoning. These problems take between 2 and 8 steps to solve. Solutions primarily involve performing a sequence of elementary calculations using basic arithmetic operations (+ − ×÷) to… See the full description on the dataset page: https://huggingface.co/datasets/openai/gsm8k.