mondk/TeichAI-ClaudeOpus4.5-High-CLEANED
Note: Base datasets: TeichAI/claude-4.5-opus-high-reasoning-250x Cleaned: low-quality data removed and content condensed (8MB -> 5MB) It cost me $2 (USD) [just kidding]
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🧹 Bộ dữ liệu TeichAI-ClaudeOpus4.5-High-CLEANED — Dữ liệu chất lượng cao đã được tinh gọn
Phiên bản làm sạch từ TeichAI/claude-4.5-opus-high-reasoning-250x, loại bỏ dữ liệu kém chất lượng, nén từ 8MB xuống 5MB.
Đây là bộ dữ liệu văn bản tiếng Anh được chủ đề giới thiệu là "claude", "opus4.5", "teichai" và "cleaned". Nguồn gốc là TeichAI/claude-4.5-opus-high-reasoning-250x, sau đó được xử lý để loại bỏ các mẫu dữ liệu kém chất lượng và nén nội dung, giúp tiết kiệm không gian lưu trữ mà vẫn giữ được tính toàn vẹn thông tin. Dù nhỏ hơn 1.000 mẫu, bộ dữ liệu này hữu ích cho việc huấn luyện hoặc đánh giá mô hình ngôn ngữ lớn.
✨ Điểm nổi bật
- Nguồn gốc rõ ràng: Dựa trên bộ dữ liệu gốc TeichAI/claude-4.5-opus-high-reasoning-250x.
- Đã được làm sạch: Loại bỏ dữ liệu kém chất lượng để nâng cao độ tin cậy.
- Nén hiệu quả: Kích thước giảm từ 8MB xuống 5MB, tiết kiệm không gian lưu trữ.
- Định dạng hỗ trợ: Cung cấp dưới dạng JSON, dễ tích hợp với các thư viện như datasets, pandas, polars.
- Phạm vi nhỏ gọn: Dưới 1.000 mẫu, phù hợp cho thí nghiệm nhanh hoặc kiểm thử mô hình.
- Giấy phép mở: Sử dụng giấy phép Apache-2.0, cho phép tự do sử dụng và phát phối.
💡 Vì sao đáng chú ý
Việc làm sạch và nén dữ liệu giúp giảm chi phí lưu trữ và tăng tốc độ xử lý trong quá trình huấn luyện mô hình. Bộ dữ liệu nhỏ gọn nhưng được kiểm soát chất lượng phù hợp cho người dùng muốn thử nghiệm nhanh hoặc kiểm tra hiệu suất mô hình trên tập con dữ liệu cụ thể. Đặc biệt hữu ích khi kết hợp với các công cụ như Hugging Face Datasets hoặc pandas để phân tích và xử lý.
#TeichAI #ClaudeOpus4.5 #CleanedData #DatasetCleaning #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
a.k.a. Awesome ChatGPT Prompts This is a Dataset Repository mirror of prompts.chat — a social platform for AI prompts. 📢 Notice This Hugging Face dataset is a mirror. For the latest prompts, features, and community contributions, please visit: 🌐 Website: prompts.chat 📦 GitHub: github.com/f/awesome-chatgpt-prompts About prompts.chat is an open-source platform where users can share, discover, and collect AI prompts from the community. The project can… See the full description on the dataset page: https://huggingface.co/datasets/fka/prompts.chat.
Summary databricks-dolly-15k is an open source dataset of instruction-following records generated by thousands of Databricks employees in several of the behavioral categories outlined in the InstructGPT paper, including brainstorming, classification, closed QA, generation, information extraction, open QA, and summarization. This dataset can be used for any purpose, whether academic or commercial, under the terms of the Creative Commons Attribution-ShareAlike 3.0 Unported… See the full description on the dataset page: https://huggingface.co/datasets/databricks/databricks-dolly-15k.
News [2025/04/22] We split the data and kept only the medical SFT dataset (medical_o1_sft.json). The file medical_o1_sft_mix.json contains a mix of medical and general instruction data. [2025/02/22] We released the distilled dataset from Deepseek-R1 based on medical verifiable problems. You can use it to initialize your models with the reasoning chain from Deepseek-R1. [2024/12/25] We open-sourced the medical reasoning dataset for SFT, built on medical verifiable problems and an… See the full description on the dataset page: https://huggingface.co/datasets/FreedomIntelligence/medical-o1-reasoning-SFT.
GAIA dataset GAIA is a benchmark which aims at evaluating next-generation LLMs (LLMs with augmented capabilities due to added tooling, efficient prompting, access to search, etc). We added gating to prevent bots from scraping the dataset. Please do not reshare the validation or test set in a crawlable format. Data and leaderboard GAIA is made of more than 450 non-trivial question with an unambiguous answer, requiring different levels of tooling and autonomy to… See the full description on the dataset page: https://huggingface.co/datasets/gaia-benchmark/GAIA.
Dataset Card for Alpaca-Cleaned Repository: https://github.com/gururise/AlpacaDataCleaned Dataset Description This is a cleaned version of the original Alpaca Dataset released by Stanford. The following issues have been identified in the original release and fixed in this dataset: Hallucinations: Many instructions in the original dataset had instructions referencing data on the internet, which just caused GPT3 to hallucinate an answer. "instruction":"Summarize… See the full description on the dataset page: https://huggingface.co/datasets/yahma/alpaca-cleaned.
APIGen Function-Calling Datasets Paper | Website | Models This repo contains 60,000 data collected by APIGen, an automated data generation pipeline designed to produce verifiable high-quality datasets for function-calling applications. Each data in our dataset is verified through three hierarchical stages: format checking, actual function executions, and semantic verification, ensuring its reliability and correctness. We conducted human evaluation over 600 sampled data points… See the full description on the dataset page: https://huggingface.co/datasets/Salesforce/xlam-function-calling-60k.
Dataset Card for GSM8K Dataset Summary GSM8K (Grade School Math 8K) is a dataset of 8.5K high quality linguistically diverse grade school math word problems. The dataset was created to support the task of question answering on basic mathematical problems that require multi-step reasoning. These problems take between 2 and 8 steps to solve. Solutions primarily involve performing a sequence of elementary calculations using basic arithmetic operations (+ − ×÷) to… See the full description on the dataset page: https://huggingface.co/datasets/openai/gsm8k.
OpenAssistant Conversations Dataset (OASST1) Dataset Summary In an effort to democratize research on large-scale alignment, we release OpenAssistant Conversations (OASST1), a human-generated, human-annotated assistant-style conversation corpus consisting of 161,443 messages in 35 different languages, annotated with 461,292 quality ratings, resulting in over 10,000 fully annotated conversation trees. The corpus is a product of a worldwide crowd-sourcing effort… See the full description on the dataset page: https://huggingface.co/datasets/OpenAssistant/oasst1.
Dataset Card for Alpaca Dataset Summary Alpaca is a dataset of 52,000 instructions and demonstrations generated by OpenAI's text-davinci-003 engine. This instruction data can be used to conduct instruction-tuning for language models and make the language model follow instruction better. The authors built on the data generation pipeline from Self-Instruct framework and made the following modifications: The text-davinci-003 engine to generate the instruction data… See the full description on the dataset page: https://huggingface.co/datasets/tatsu-lab/alpaca.