nasrellahkharroubi/DarijaDz
DarijaDZ DarijaDZ is a large-scale corpus of user-generated text collected from Algerian YouTube and TikTok channels. The corpus contains approximately 22.5 million comment documents and 259.22 million word-level tokens, with content written primarily in Algerian Darija script alongside Latin/Arabizi writing and mixed-script content. Dataset Description Motivation Algerian Darija is an under-resourced language variety with comparatively limited… See the full description on the dataset page: https://huggingface.co/datasets/nasrellahkharroubi/DarijaDz.
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Ngày
#7 Repository Của Ngày
📚 DarijaDZ — Kho dữ liệu văn bản người dùng lớn cho tiếng Algerian Darija
Kho dữ liệu 22,5 triệu bình luận từ YouTube & TikTok Algeria, phong phú về ký tự Latinh, Arabizi và mã nguồn hỗn hợp.
DarijaDZ là một kho dữ liệu quy mô lớn thu thập từ các kênh YouTube và TikTok của Algeria. Với khoảng 22,5 triệu tài liệu bình luận và 259,22 triệu token từ, DarijaDZ là nguồn tài nguyên quý giá cho nghiên cứu ngôn ngữ học và phát triển mô hình NLP cho tiếng Algerian Darija — một ngôn ngữ thiếu nguồn lực.
✨ Điểm nổi bật
- Quy mô lớn: 22,5 triệu tài liệu, 259,22 triệu token.
- Đa dạng ký tự: Hỗ trợ tiếng Darija bằng chữ điếu, Arabizi (chữ Latinh) và nội dung hỗn hợp.
- Nguồn đa dạng: Thu thập từ 49 kênh YouTube và 61 kênh TikTok.
- Ứng dụng rộng: Dùng cho huấn luyện mô hình ngôn ngữ, phân loại văn bản, trích xuất thực thể, dịch máy, nghiên cứu chuyển mã và tiếng Anh.
- Công cụ hỗ trợ: Công cụ chuyển đổi chữ điếu sang Arabizi để cân bằng dữ liệu.
- Quy trình làm sạch: Áp dụng quy tắc như xóa ký tự ẩn, chuẩn hóa Unicode, loại bỏ trùng lặp bằng MinHash/LSH.
💡 Vì sao đáng chú ý
DarijaDZ khắc phục thiếu hụt nguồn dữ liệu lớn cho tiếng Algerian Darija — một biến thể ngôn ngữ thiếu nguồn lực. Với sự đa dạng về nguồn và định dạng ký tự, kho dữ liệu này mở cơ hội cho các nghiên cứu tiên tiến về xử lý ngôn ngữ tự nhiên (NLP) và phát triển mô hình ngôn ngữ đa dạng. Đặc biệt, sự kết hợp giữa chữ điếu và Arabizi giúp nghiên cứu chuyển mã và ngôn ngữ trực tuyến không chính thức trở nên khả thi hơn.
#AlgerianDarija #NLP #TextGeneration #TextClassification #TokenClassification #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Scaling Synthetic Data Creation with 1,000,000,000 Personas This repo releases data introduced in our paper Scaling Synthetic Data Creation with 1,000,000,000 Personas: We propose a novel persona-driven data synthesis methodology that leverages various perspectives within a large language model (LLM) to create diverse synthetic data. To fully exploit this methodology at scale, we introduce PERSONA HUB – a collection of 1 billion diverse personas automatically curated from web… See the full description on the dataset page: https://huggingface.co/datasets/proj-persona/PersonaHub.
a.k.a. Awesome ChatGPT Prompts This is a Dataset Repository mirror of prompts.chat — a social platform for AI prompts. 📢 Notice This Hugging Face dataset is a mirror. For the latest prompts, features, and community contributions, please visit: 🌐 Website: prompts.chat 📦 GitHub: github.com/f/awesome-chatgpt-prompts About prompts.chat is an open-source platform where users can share, discover, and collect AI prompts from the community. The project can… See the full description on the dataset page: https://huggingface.co/datasets/fka/prompts.chat.
Dataset Card for Wikimedia Wikipedia Dataset Summary Wikipedia dataset containing cleaned articles of all languages. The dataset is built from the Wikipedia dumps (https://dumps.wikimedia.org/) with one subset per language, each containing a single train split. Each example contains the content of one full Wikipedia article with cleaning to strip markdown and unwanted sections (references, etc.). All language subsets have already been processed for recent dump… See the full description on the dataset page: https://huggingface.co/datasets/wikimedia/wikipedia.
🐋 The OpenOrca Dataset! 🐋 We are thrilled to announce the release of the OpenOrca dataset! This rich collection of augmented FLAN data aligns, as best as possible, with the distributions outlined in the Orca paper. It has been instrumental in generating high-performing model checkpoints and serves as a valuable resource for all NLP researchers and developers! Official Models Mistral-7B-OpenOrca Our latest model, the first 7B to score better overall than all… See the full description on the dataset page: https://huggingface.co/datasets/Open-Orca/OpenOrca.
News [2025/04/22] We split the data and kept only the medical SFT dataset (medical_o1_sft.json). The file medical_o1_sft_mix.json contains a mix of medical and general instruction data. [2025/02/22] We released the distilled dataset from Deepseek-R1 based on medical verifiable problems. You can use it to initialize your models with the reasoning chain from Deepseek-R1. [2024/12/25] We open-sourced the medical reasoning dataset for SFT, built on medical verifiable problems and an… See the full description on the dataset page: https://huggingface.co/datasets/FreedomIntelligence/medical-o1-reasoning-SFT.
Dataset Card for Alpaca-Cleaned Repository: https://github.com/gururise/AlpacaDataCleaned Dataset Description This is a cleaned version of the original Alpaca Dataset released by Stanford. The following issues have been identified in the original release and fixed in this dataset: Hallucinations: Many instructions in the original dataset had instructions referencing data on the internet, which just caused GPT3 to hallucinate an answer. "instruction":"Summarize… See the full description on the dataset page: https://huggingface.co/datasets/yahma/alpaca-cleaned.
中文基于满血DeepSeek-R1蒸馏数据集(Chinese-Data-Distill-From-R1) 🤗 Hugging Face | 🤖 ModelScope | 🚀 Github | 📑 Blog 注意:提供了直接SFT使用的版本,点击下载。将数据中的思考和答案整合成output字段,大部分SFT代码框架均可直接直接加载训练。 本数据集为中文开源蒸馏满血R1的数据集,数据集中不仅包含math数据,还包括大量的通用类型数据,总数量为110K。 为什么开源这个数据? R1的效果十分强大,并且基于R1蒸馏数据SFT的小模型也展现出了强大的效果,但检索发现,大部分开源的R1蒸馏数据集均为英文数据集。 同时,R1的报告中展示,蒸馏模型中同时也使用了部分通用场景数据集。 为了帮助大家更好地复现R1蒸馏模型的效果,特此开源中文数据集。 该中文数据集中的数据分布如下:… See the full description on the dataset page: https://huggingface.co/datasets/Congliu/Chinese-DeepSeek-R1-Distill-data-110k.
COIG-CQIA:Quality is All you need for Chinese Instruction Fine-tuning Dataset Details Dataset Description 欢迎来到COIG-CQIA,COIG-CQIA全称为Chinese Open Instruction Generalist - Quality is All You Need, 是一个开源的高质量指令微调数据集,旨在为中文NLP社区提供高质量且符合人类交互行为的指令微调数据。COIG-CQIA以中文互联网获取到的问答及文章作为原始数据,经过深度清洗、重构及人工审核构建而成。本项目受LIMA: Less Is More for Alignment等研究启发,使用少量高质量的数据即可让大语言模型学习到人类交互行为,因此在数据构建中我们十分注重数据的来源、质量与多样性,数据集详情请见数据介绍以及我们接下来的论文。 Welcome to the… See the full description on the dataset page: https://huggingface.co/datasets/m-a-p/COIG-CQIA.
APIGen Function-Calling Datasets Paper | Website | Models This repo contains 60,000 data collected by APIGen, an automated data generation pipeline designed to produce verifiable high-quality datasets for function-calling applications. Each data in our dataset is verified through three hierarchical stages: format checking, actual function executions, and semantic verification, ensuring its reliability and correctness. We conducted human evaluation over 600 sampled data points… See the full description on the dataset page: https://huggingface.co/datasets/Salesforce/xlam-function-calling-60k.