ngocdang83/tran-vi-teacher
tran-vi-teacher: Chinese→Vietnamese Web-novel Teacher Dataset A 350,751-row strict-clean Chinese-to-Vietnamese parallel corpus for web-novel translation training, distilled from Gemini 2.5/3.0/3.1 teacher models on raw Chinese web-novel paragraphs. Overview Source language: Simplified Chinese (zh) Target language: Vietnamese (vi) Domain: Web-novel (xianxia, urban, school, fantasy, history, sci-fi) Format: Multi-line paragraph chunks (median 7 lines/row) Total… See the full description on the dataset page: https://huggingface.co/datasets/ngocdang83/tran-vi-teacher.
📚 Bộ dữ liệu dịch Trung→Việt từ Gemini teacher cho tiểu thuyết web
350.751 cặp đẳng cấu được lọc nghiêm ngặt từ mô hình Gemini, phù hợp huấn luyện dịch đoạn văn dài.
tran-vi-teacher là bộ dữ liệu song ngữ Trung (zh) → Việt (vi) thu thập từ tiểu thuyết web, bao gồm thể loại xianxia, truyện đô thị, trường học, thần thoại, lịch sử và khoa huyễn. Được sinh bởi các mô hình Gemini 2.5/3.0/3.1 ở cấp độ flash_lite, flash và pro, sau đó áp dụng bộ lọc chất lượng nghiêm ngặt để loại bỏ lỗi như thiếu dấu câu, độ dài dòng không khớng, hoặc thuật ngữ Trung ngữ xuất hiện trong bản dịch tiếng Việt.
✨ Điểm nổi bật
- 350.751 cặp dòng chất lượng cao: 96.3% vượt qua mọi cổng lọc nghiêm ngặt.
- Đa dạng thể loại: bao phủ xianxia, đô thị, trường học, thần thoại, lịch sử, khoa huyễn.
- Định dạng đoạn văn đa dòng: trung bình 7 dòng mỗi hàng, phù hợp huấn luyện dịch đoạn văn thay vì câu đơn.
- Phân loại mô hình rõ rệt: flash_lite chiếm 86.1%, flash 15.7%, pro 3.0%.
- Bộ lọc nghiêm ngặt: kiểm tra finish_reason, dấu thẻ đóng, số dòng khớp, không rò rỉ ký tự Hán, độ dài ≤3000 ký tự, tỷ lệ ký tự ≤5.0.
- Tùy chọn bản ghi trùng lặp: có sẵn bản ghi đã loại bỏ trùng lặp theo hash nguồn (đề xuất dùng).
- Tỷ lệ ký tự dài: 86–93% cặp có độ dài mục tiêu >500 ký tự, tránh thiên lệch EOS.
- Giấy phép CC-BY-4.0: sử dụng tự do với ghi công.
💡 Vì sao đáng chú ý
Khác biệt với các bộ dữ liệu dịch thuần túy từ sách hoặc tin tức, tran-vi-teacher tập trung vào tiểu thuyết web — nguồn phong phú về thuật ngữ hiện đại, tên người nước ngoài và cấu trúc câu phức tạp. Sự kết hợp giữa độ dài đoạn văn trung bình và tỷ lệ ký tự dài giúp mô hình tránh việc học nhầm ký tự kết thúc câu (EOS) quá sớm — một vấn đề thường gặp trong các bộ dữ liệu dịch từ hội thoại SFT.
#MachineTranslation #ChineseVietnamese #WebNovel #GeminiTeacher #OpenDataset #TiniX
Similar Projects
Discover other similar projects and AI models.
中文基于满血DeepSeek-R1蒸馏数据集（Chinese-Data-Distill-From-R1） 🤗 Hugging Face | 🤖 ModelScope | 🚀 Github | 📑 Blog 注意：提供了直接SFT使用的版本，点击下载。将数据中的思考和答案整合成output字段，大部分SFT代码框架均可直接直接加载训练。 本数据集为中文开源蒸馏满血R1的数据集，数据集中不仅包含math数据，还包括大量的通用类型数据，总数量为110K。 为什么开源这个数据？ R1的效果十分强大，并且基于R1蒸馏数据SFT的小模型也展现出了强大的效果，但检索发现，大部分开源的R1蒸馏数据集均为英文数据集。 同时，R1的报告中展示，蒸馏模型中同时也使用了部分通用场景数据集。 为了帮助大家更好地复现R1蒸馏模型的效果，特此开源中文数据集。 该中文数据集中的数据分布如下：… See the full description on the dataset page: https://huggingface.co/datasets/Congliu/Chinese-DeepSeek-R1-Distill-data-110k.
OpenAssistant Conversations Dataset (OASST1) Dataset Summary In an effort to democratize research on large-scale alignment, we release OpenAssistant Conversations (OASST1), a human-generated, human-annotated assistant-style conversation corpus consisting of 161,443 messages in 35 different languages, annotated with 461,292 quality ratings, resulting in over 10,000 fully annotated conversation trees. The corpus is a product of a worldwide crowd-sourcing effort… See the full description on the dataset page: https://huggingface.co/datasets/OpenAssistant/oasst1.
News [2025/04/22] We split the data and kept only the medical SFT dataset (medical_o1_sft.json). The file medical_o1_sft_mix.json contains a mix of medical and general instruction data. [2025/02/22] We released the distilled dataset from Deepseek-R1 based on medical verifiable problems. You can use it to initialize your models with the reasoning chain from Deepseek-R1. [2024/12/25] We open-sourced the medical reasoning dataset for SFT, built on medical verifiable problems and an… See the full description on the dataset page: https://huggingface.co/datasets/FreedomIntelligence/medical-o1-reasoning-SFT.
Dataset Card for Alpaca-Cleaned Repository: https://github.com/gururise/AlpacaDataCleaned Dataset Description This is a cleaned version of the original Alpaca Dataset released by Stanford. The following issues have been identified in the original release and fixed in this dataset: Hallucinations: Many instructions in the original dataset had instructions referencing data on the internet, which just caused GPT3 to hallucinate an answer. "instruction":"Summarize… See the full description on the dataset page: https://huggingface.co/datasets/yahma/alpaca-cleaned.
Scaling Synthetic Data Creation with 1,000,000,000 Personas This repo releases data introduced in our paper Scaling Synthetic Data Creation with 1,000,000,000 Personas: We propose a novel persona-driven data synthesis methodology that leverages various perspectives within a large language model (LLM) to create diverse synthetic data. To fully exploit this methodology at scale, we introduce PERSONA HUB – a collection of 1 billion diverse personas automatically curated from web… See the full description on the dataset page: https://huggingface.co/datasets/proj-persona/PersonaHub.
APIGen Function-Calling Datasets Paper | Website | Models This repo contains 60,000 data collected by APIGen, an automated data generation pipeline designed to produce verifiable high-quality datasets for function-calling applications. Each data in our dataset is verified through three hierarchical stages: format checking, actual function executions, and semantic verification, ensuring its reliability and correctness. We conducted human evaluation over 600 sampled data points… See the full description on the dataset page: https://huggingface.co/datasets/Salesforce/xlam-function-calling-60k.
a.k.a. Awesome ChatGPT Prompts This is a Dataset Repository mirror of prompts.chat — a social platform for AI prompts. 📢 Notice This Hugging Face dataset is a mirror. For the latest prompts, features, and community contributions, please visit: 🌐 Website: prompts.chat 📦 GitHub: github.com/f/awesome-chatgpt-prompts About prompts.chat is an open-source platform where users can share, discover, and collect AI prompts from the community. The project can… See the full description on the dataset page: https://huggingface.co/datasets/fka/prompts.chat.
Dataset Card for HH-RLHF Dataset Summary This repository provides access to two different kinds of data: Human preference data about helpfulness and harmlessness from Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback. These data are meant to train preference (or reward) models for subsequent RLHF training. These data are not meant for supervised training of dialogue agents. Training dialogue agents on these data is likely… See the full description on the dataset page: https://huggingface.co/datasets/Anthropic/hh-rlhf.
Dataset Card for Wikimedia Wikipedia Dataset Summary Wikipedia dataset containing cleaned articles of all languages. The dataset is built from the Wikipedia dumps (https://dumps.wikimedia.org/) with one subset per language, each containing a single train split. Each example contains the content of one full Wikipedia article with cleaning to strip markdown and unwanted sections (references, etc.). All language subsets have already been processed for recent dump… See the full description on the dataset page: https://huggingface.co/datasets/wikimedia/wikipedia.