AhmedSSabir/Gulf-Arabic-Tweets-2018-2020
Dataset Summary This is a pre-processed (cleaned) Twitter Gulf Arabic dialect 2018-2020 dataset. Pleasre refer to the source, and data cleaning code and algorithm Github. Languages Arabic Source Data Twitter
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#5 Repository Của Tháng
#7 Repository Của Tháng
#7 Repository Của Tháng
💬 Dataset tweet Ả rabi vùng Vịnh 2018-2020
Dữ liệu tweet tiếng Ả rabi (Gulf Arabic) từ 2018-2020, đã qua xử lý và làm sạch, sẵn sàng cho bài toán phân loại văn bản.
Đây là một bộ dữ liệu tweet bằng tiếng Ả rabi (dialect của vùng Vịnh: UAE, Saudi Arabia, Kuwait, Qatar, Bahrain, Oman) thu thập từ năm 2018 đến 2020, đã được tiền xử lý để loại bỏ nội dung rác, ký tự đặc biệt và chuẩn hóa ngôn ngữ. Dữ liệu được cung cấp theo giấy phép CC-BY-4.0, hỗ trợ định dạng CSV và tích hợp với thư viện datasets, pandas, polars và mlcroissant.
✨ Điểm nổi bật
- Đã được làm sạch: Loại bỏ nội dung không liên quan, chuẩn hóa ký tự và ngôn ngữ.
- Phân loại văn bản: Hỗ trợ trực tiếp cho các tác vụ phân loại văn bản (text classification).
- Tiếng Ả rabi vùng Vịnh: Tập trung vào dialect cụ thể từ 6 quốc gia vùng Vịnh.
- Thời gian trải dài: Bao phủ 3 năm (2018-2020) với quy mô từ 10K đến dưới 100K mẫu.
- Định dạng mở: Hỗ trợ CSV, tích hợp sẵn với
datasets,pandas,polarsvàmlcroissant. - Nguồn gốc minh bạch: Cung cấp link nguồn gốc và mã nguồn code làm sạch trên GitHub.
💡 Vì sao đáng chú ý
Bộ dữ liệu này khác biệt ở chỗ tập trung vào Ả rabi vùng Vịnh — một ngôn ngữ địa phương ít được hỗ trợ so với tiếng Ả chuẩn. Sự đa dạng văn hóa và cách biểu đạt của 6 quốc gia mang lại giá trị cao cho các mô hình NLP đa ngôn ngữ hoặc các nghiên cứu ngôn ngữ địa phương.
Phù hợp cho nghiên cứu xử lý ngôn ngữ tự nhiên (NLP), xây dựng mô hình phân loại văn bản, hoặc nâng cường hệ thống hiểu ngôn ngữ cho tiếng Ả rabi. Nhờ đã qua bước làm sạch, người dùng có thể tiết kiệm thời gian và dùng ngay cho huấn luyện mô hình.
#ArabicDialect #TextClassification #TwitterDataset #NLP #OpenData #TiniX
Similar Projects
Discover other similar projects and AI models.
a.k.a. Awesome ChatGPT Prompts This is a Dataset Repository mirror of prompts.chat — a social platform for AI prompts. 📢 Notice This Hugging Face dataset is a mirror. For the latest prompts, features, and community contributions, please visit: 🌐 Website: prompts.chat 📦 GitHub: github.com/f/awesome-chatgpt-prompts About prompts.chat is an open-source platform where users can share, discover, and collect AI prompts from the community. The project can… See the full description on the dataset page: https://huggingface.co/datasets/fka/prompts.chat.
Dataset Card for "imdb" Dataset Summary Large Movie Review Dataset. This is a dataset for binary sentiment classification containing substantially more data than previous benchmark datasets. We provide a set of 25,000 highly polar movie reviews for training, and 25,000 for testing. There is additional unlabeled data for use as well. Supported Tasks and Leaderboards More Information Needed Languages More Information Needed… See the full description on the dataset page: https://huggingface.co/datasets/stanfordnlp/imdb.
OpenAssistant Conversations Dataset (OASST1) Dataset Summary In an effort to democratize research on large-scale alignment, we release OpenAssistant Conversations (OASST1), a human-generated, human-annotated assistant-style conversation corpus consisting of 161,443 messages in 35 different languages, annotated with 461,292 quality ratings, resulting in over 10,000 fully annotated conversation trees. The corpus is a product of a worldwide crowd-sourcing effort… See the full description on the dataset page: https://huggingface.co/datasets/OpenAssistant/oasst1.
Dataset Card for MMLU Dataset Summary Measuring Massive Multitask Language Understanding by Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, and Jacob Steinhardt (ICLR 2021). This is a massive multitask test consisting of multiple-choice questions from various branches of knowledge. The test spans subjects in the humanities, social sciences, hard sciences, and other areas that are important for some people to learn. This covers 57… See the full description on the dataset page: https://huggingface.co/datasets/cais/mmlu.
Dataset Card for GLUE Dataset Summary GLUE, the General Language Understanding Evaluation benchmark (https://gluebenchmark.com/) is a collection of resources for training, evaluating, and analyzing natural language understanding systems. Supported Tasks and Leaderboards The leaderboard for the GLUE benchmark can be found at this address. It comprises the following tasks: ax A manually-curated evaluation dataset for fine-grained… See the full description on the dataset page: https://huggingface.co/datasets/nyu-mll/glue.
Dataset Card for Alpaca-Cleaned Repository: https://github.com/gururise/AlpacaDataCleaned Dataset Description This is a cleaned version of the original Alpaca Dataset released by Stanford. The following issues have been identified in the original release and fixed in this dataset: Hallucinations: Many instructions in the original dataset had instructions referencing data on the internet, which just caused GPT3 to hallucinate an answer. "instruction":"Summarize… See the full description on the dataset page: https://huggingface.co/datasets/yahma/alpaca-cleaned.
Scaling Synthetic Data Creation with 1,000,000,000 Personas This repo releases data introduced in our paper Scaling Synthetic Data Creation with 1,000,000,000 Personas: We propose a novel persona-driven data synthesis methodology that leverages various perspectives within a large language model (LLM) to create diverse synthetic data. To fully exploit this methodology at scale, we introduce PERSONA HUB – a collection of 1 billion diverse personas automatically curated from web… See the full description on the dataset page: https://huggingface.co/datasets/proj-persona/PersonaHub.
中文基于满血DeepSeek-R1蒸馏数据集(Chinese-Data-Distill-From-R1) 🤗 Hugging Face | 🤖 ModelScope | 🚀 Github | 📑 Blog 注意:提供了直接SFT使用的版本,点击下载。将数据中的思考和答案整合成output字段,大部分SFT代码框架均可直接直接加载训练。 本数据集为中文开源蒸馏满血R1的数据集,数据集中不仅包含math数据,还包括大量的通用类型数据,总数量为110K。 为什么开源这个数据? R1的效果十分强大,并且基于R1蒸馏数据SFT的小模型也展现出了强大的效果,但检索发现,大部分开源的R1蒸馏数据集均为英文数据集。 同时,R1的报告中展示,蒸馏模型中同时也使用了部分通用场景数据集。 为了帮助大家更好地复现R1蒸馏模型的效果,特此开源中文数据集。 该中文数据集中的数据分布如下:… See the full description on the dataset page: https://huggingface.co/datasets/Congliu/Chinese-DeepSeek-R1-Distill-data-110k.
APIGen Function-Calling Datasets Paper | Website | Models This repo contains 60,000 data collected by APIGen, an automated data generation pipeline designed to produce verifiable high-quality datasets for function-calling applications. Each data in our dataset is verified through three hierarchical stages: format checking, actual function executions, and semantic verification, ensuring its reliability and correctness. We conducted human evaluation over 600 sampled data points… See the full description on the dataset page: https://huggingface.co/datasets/Salesforce/xlam-function-calling-60k.