yimingzhang/allie-models
No description provided for this repository.
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#4 Repository Của Tháng
#6 Repository Của Tuần
#5 Repository Của Ngày
📚 Bộ dữ liệu mô hình ngôn ngữ AllIE – Nguồn dữ liệu lớn cho nghiên cứu NLP
Bộ dữ liệu AllIE cung cấp hơn 100.000 mẫu văn bản chất lượng, phù hợp cho việc huấn luyện và đánh giá mô hình ngôn ngữ lớn.
allie-models là một bộ dữ liệu nghiên cứu được thiết kế để hỗ trợ cộng đồng nghiên cứu trí tuệ nhân tạo, đặc biệt trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP). Dự án mang đến một nguồn dữ liệu phong phú với quy mô từ 100.000 đến dưới 1 triệu mẫu, được cấu trúc dưới dạng văn bản thuần, dễ dàng tích hợp vào các công cụ học máy phổ biến.
✨ Điểm nổi bật
- Quy mô lớn: Hơn 100.000 mẫu dữ liệu, đủ lớn để hỗ trợ huấn luyện mô hình ngôn ngữ hiệu quả.
- Định dạng văn bản thuần: Dữ liệu được cung cấp dưới dạng text, dễ dàng xử lý và tiền xử lý.
- Hỗ trợ thư viện chuẩn: Tương thích với thư viện
datasetsvàmlcroissant, giúp người dùng nhanh chóng tích hợp vào pipeline học máy. - Phù hợp nghiên cứu: Dành cho các nhà nghiên cứu, sinh viên và kỹ sư AI làm việc trên mô hình ngôn ngữ lớn.
- Miễn phí truy cập: Công khai trên Hugging Face, hỗ trợ nghiên cứu mở.
💡 Vì sao đáng chú ý
allie-models khác biệt ở sự kết hợp giữa quy mô dữ liệu vừa đủ lớn và sự tiện lợi trong sử dụng. Với việc hỗ trợ trực tiếp từ thư viện datasets, người dùng có thể tải và sử dụng ngay mà không cần thực hiện bất kỳ bước chuyển đổi nào. Đây là lựa chọn lý tưởng cho các dự án nghiên cứu mô hình ngôn ngữ, đặc biệt khi cần một nguồn dữ liệu đa dạng và đồng nhất.
#NLP #MachineLearning #OpenData #HuggingFace #TiniX
Similar Projects
Discover other similar projects and AI models.
a.k.a. Awesome ChatGPT Prompts This is a Dataset Repository mirror of prompts.chat — a social platform for AI prompts. 📢 Notice This Hugging Face dataset is a mirror. For the latest prompts, features, and community contributions, please visit: 🌐 Website: prompts.chat 📦 GitHub: github.com/f/awesome-chatgpt-prompts About prompts.chat is an open-source platform where users can share, discover, and collect AI prompts from the community. The project can… See the full description on the dataset page: https://huggingface.co/datasets/fka/prompts.chat.
Dataset Card for HH-RLHF Dataset Summary This repository provides access to two different kinds of data: Human preference data about helpfulness and harmlessness from Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback. These data are meant to train preference (or reward) models for subsequent RLHF training. These data are not meant for supervised training of dialogue agents. Training dialogue agents on these data is likely… See the full description on the dataset page: https://huggingface.co/datasets/Anthropic/hh-rlhf.
Dataset Card for UltraChat 200k Dataset Description This is a heavily filtered version of the UltraChat dataset and was used to train Zephyr-7B-β, a state of the art 7b chat model. The original datasets consists of 1.4M dialogues generated by ChatGPT and spanning a wide range of topics. To create UltraChat 200k, we applied the following logic: Selection of a subset of data for faster supervised fine tuning. Truecasing of the dataset, as we observed around 5% of… See the full description on the dataset page: https://huggingface.co/datasets/HuggingFaceH4/ultrachat_200k.
Dataset Card for MMLU Dataset Summary Measuring Massive Multitask Language Understanding by Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, and Jacob Steinhardt (ICLR 2021). This is a massive multitask test consisting of multiple-choice questions from various branches of knowledge. The test spans subjects in the humanities, social sciences, hard sciences, and other areas that are important for some people to learn. This covers 57… See the full description on the dataset page: https://huggingface.co/datasets/cais/mmlu.
Dataset Card for "imdb" Dataset Summary Large Movie Review Dataset. This is a dataset for binary sentiment classification containing substantially more data than previous benchmark datasets. We provide a set of 25,000 highly polar movie reviews for training, and 25,000 for testing. There is additional unlabeled data for use as well. Supported Tasks and Leaderboards More Information Needed Languages More Information Needed… See the full description on the dataset page: https://huggingface.co/datasets/stanfordnlp/imdb.
[!NOTE] We have released a paper for OpenThoughts! See our paper here. Open-Thoughts-114k Open synthetic reasoning dataset with 114k high-quality examples covering math, science, code, and puzzles! Inspect the content with rich formatting with Curator Viewer. Available Subsets default subset containing ready-to-train data used to finetune the OpenThinker-7B and OpenThinker-32B models: ds = load_dataset("open-thoughts/OpenThoughts-114k"… See the full description on the dataset page: https://huggingface.co/datasets/open-thoughts/OpenThoughts-114k.
OpenR1-Math-220k Dataset description OpenR1-Math-220k is a large-scale dataset for mathematical reasoning. It consists of 220k math problems with two to four reasoning traces generated by DeepSeek R1 for problems from NuminaMath 1.5. The traces were verified using Math Verify for most samples and Llama-3.3-70B-Instruct as a judge for 12% of the samples, and each problem contains at least one reasoning trace with a correct answer. The dataset consists of two… See the full description on the dataset page: https://huggingface.co/datasets/open-r1/OpenR1-Math-220k.
Scaling Synthetic Data Creation with 1,000,000,000 Personas This repo releases data introduced in our paper Scaling Synthetic Data Creation with 1,000,000,000 Personas: We propose a novel persona-driven data synthesis methodology that leverages various perspectives within a large language model (LLM) to create diverse synthetic data. To fully exploit this methodology at scale, we introduce PERSONA HUB – a collection of 1 billion diverse personas automatically curated from web… See the full description on the dataset page: https://huggingface.co/datasets/proj-persona/PersonaHub.
中文基于满血DeepSeek-R1蒸馏数据集（Chinese-Data-Distill-From-R1） 🤗 Hugging Face | 🤖 ModelScope | 🚀 Github | 📑 Blog 注意：提供了直接SFT使用的版本，点击下载。将数据中的思考和答案整合成output字段，大部分SFT代码框架均可直接直接加载训练。 本数据集为中文开源蒸馏满血R1的数据集，数据集中不仅包含math数据，还包括大量的通用类型数据，总数量为110K。 为什么开源这个数据？ R1的效果十分强大，并且基于R1蒸馏数据SFT的小模型也展现出了强大的效果，但检索发现，大部分开源的R1蒸馏数据集均为英文数据集。 同时，R1的报告中展示，蒸馏模型中同时也使用了部分通用场景数据集。 为了帮助大家更好地复现R1蒸馏模型的效果，特此开源中文数据集。 该中文数据集中的数据分布如下：… See the full description on the dataset page: https://huggingface.co/datasets/Congliu/Chinese-DeepSeek-R1-Distill-data-110k.