TonicAI/Privacy-Bench
PrivacyBench PrivacyBench is a benchmark for de-identifying semi-structured data exports from work tools like email, messaging, calendar, and so forth. The benchmark focuses on the identification and synthesis of PII in the unstructured text fields of the data export, and introduces novel metrics for evaluating synthesis quality. This initial version consists of data exports of Slack and email messages from 21 distinct personas generated by the Fabricate synthetic data tool… See the full description on the dataset page: https://huggingface.co/datasets/TonicAI/Privacy-Bench.
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🔍 PrivacyBench: Bộ chuẩn đo ẩn danh hoá PII trong dữ liệu công cụ làm việc
PrivacyBench đo lường cả khả năng phát hiện PII và chất lượng thay thế nhất quán bằng dữ liệu giả lập.
PrivacyBench là một bộ chuẩn đo được thiết kế để đánh giá quá trình ẩn danh hoá (de-identification) dữ liệu bán cấu trúc từ các công cụ làm việc như email, nhắn tin (Slack), lịch làm việc. Dự án tập trung vào việc nhận diện và tổng hợp lại thông tin cá nhân nhạy cảm (PII) trong các trường văn bản không có cấu trúc, đồng thời giới thiệu các chỉ số đo mới để đánh giá chất lượng của quá trình tổng hợp.
✨ Điểm nổi bật
- Dữ liệu giả lập hoàn toàn: 21 bản xuất dữ liệu từ Slack và email của 21 nhân vật ảo, tạo ra bởi công cụ Fabricate.
- 17.917 tin nhắn: Trung bình mỗi bản xuất chứa khoảng 25.000 từ, 115 email, 740 tin nhắn Slack và 24 nhân vật.
- 5 loại thực thể PII:
NAME_GIVEN,NAME_FAMILY,EMAIL_ADDRESS,USERNAME,ORGANIZATION. - Nhãn đúng vàng (gold standard) cho mỗi tin nhắn: Dữ liệu được lưu dưới dạng các đoạn PII (spans) và danh sách nhân vật (character roster).
- Nhiệm vụ hai giai đoạn: NER (phát hiện PII) + tổng hợp (thay thế thống nhất), được đánh giá bằng ba chỉ số.
- Không cần người chú thích thủ công: Nhãn được tạo tự động từ quá trình sinh dữ liệu.
- Đánh giá sâu rộng: Được thử nghiệm trên sáu pipeline khác nhau, kết hợp NER từ LLM hoặc Tonic Textual với việc tổng hợp bởi LLM.
💡 Vì sao đáng chú ý
PrivacyBench khác biệt từ các bộ chuẩn đo NER truyền thống (như CoNLL, OntoNotes) bằng cách không chỉ đo lường khả năng phát hiện PII mà còn đánh giá độ chính xác và tính nhất quán của việc thay thế thực thể bằng dữ liệu giả lập. Thách thức lớn ở đây là duy trì sự nhất quán khi một nhân vật xuất hiện dưới nhiều dạng khác nhau (ví dụ: tên đầy đủ, biệt danh, email) trong cùng một tài liệu hoặc xuyên qua nhiều tài liệu. Dự án sử dụng LLM-as-a-judge để đánh giá chất lượng tổng hợp thông qua chỉ số synthesis accuracy, tránh việc so sánh với một giá trị cố định.
#PrivacyBench #PII #DeIdentification #SyntheticData #NER #DataSynthesis #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Dataset Card for Alpaca-Cleaned Repository: https://github.com/gururise/AlpacaDataCleaned Dataset Description This is a cleaned version of the original Alpaca Dataset released by Stanford. The following issues have been identified in the original release and fixed in this dataset: Hallucinations: Many instructions in the original dataset had instructions referencing data on the internet, which just caused GPT3 to hallucinate an answer. "instruction":"Summarize… See the full description on the dataset page: https://huggingface.co/datasets/yahma/alpaca-cleaned.
APIGen Function-Calling Datasets Paper | Website | Models This repo contains 60,000 data collected by APIGen, an automated data generation pipeline designed to produce verifiable high-quality datasets for function-calling applications. Each data in our dataset is verified through three hierarchical stages: format checking, actual function executions, and semantic verification, ensuring its reliability and correctness. We conducted human evaluation over 600 sampled data points… See the full description on the dataset page: https://huggingface.co/datasets/Salesforce/xlam-function-calling-60k.
News [2025/04/22] We split the data and kept only the medical SFT dataset (medical_o1_sft.json). The file medical_o1_sft_mix.json contains a mix of medical and general instruction data. [2025/02/22] We released the distilled dataset from Deepseek-R1 based on medical verifiable problems. You can use it to initialize your models with the reasoning chain from Deepseek-R1. [2024/12/25] We open-sourced the medical reasoning dataset for SFT, built on medical verifiable problems and an… See the full description on the dataset page: https://huggingface.co/datasets/FreedomIntelligence/medical-o1-reasoning-SFT.
Dataset Card for GSM8K Dataset Summary GSM8K (Grade School Math 8K) is a dataset of 8.5K high quality linguistically diverse grade school math word problems. The dataset was created to support the task of question answering on basic mathematical problems that require multi-step reasoning. These problems take between 2 and 8 steps to solve. Solutions primarily involve performing a sequence of elementary calculations using basic arithmetic operations (+ − ×÷) to… See the full description on the dataset page: https://huggingface.co/datasets/openai/gsm8k.
Dataset Card for Alpaca Dataset Summary Alpaca is a dataset of 52,000 instructions and demonstrations generated by OpenAI's text-davinci-003 engine. This instruction data can be used to conduct instruction-tuning for language models and make the language model follow instruction better. The authors built on the data generation pipeline from Self-Instruct framework and made the following modifications: The text-davinci-003 engine to generate the instruction data… See the full description on the dataset page: https://huggingface.co/datasets/tatsu-lab/alpaca.
Summary databricks-dolly-15k is an open source dataset of instruction-following records generated by thousands of Databricks employees in several of the behavioral categories outlined in the InstructGPT paper, including brainstorming, classification, closed QA, generation, information extraction, open QA, and summarization. This dataset can be used for any purpose, whether academic or commercial, under the terms of the Creative Commons Attribution-ShareAlike 3.0 Unported… See the full description on the dataset page: https://huggingface.co/datasets/databricks/databricks-dolly-15k.
Scaling Synthetic Data Creation with 1,000,000,000 Personas This repo releases data introduced in our paper Scaling Synthetic Data Creation with 1,000,000,000 Personas: We propose a novel persona-driven data synthesis methodology that leverages various perspectives within a large language model (LLM) to create diverse synthetic data. To fully exploit this methodology at scale, we introduce PERSONA HUB – a collection of 1 billion diverse personas automatically curated from web… See the full description on the dataset page: https://huggingface.co/datasets/proj-persona/PersonaHub.
a.k.a. Awesome ChatGPT Prompts This is a Dataset Repository mirror of prompts.chat — a social platform for AI prompts. 📢 Notice This Hugging Face dataset is a mirror. For the latest prompts, features, and community contributions, please visit: 🌐 Website: prompts.chat 📦 GitHub: github.com/f/awesome-chatgpt-prompts About prompts.chat is an open-source platform where users can share, discover, and collect AI prompts from the community. The project can… See the full description on the dataset page: https://huggingface.co/datasets/fka/prompts.chat.
🐋 The OpenOrca Dataset! 🐋 We are thrilled to announce the release of the OpenOrca dataset! This rich collection of augmented FLAN data aligns, as best as possible, with the distributions outlined in the Orca paper. It has been instrumental in generating high-performing model checkpoints and serves as a valuable resource for all NLP researchers and developers! Official Models Mistral-7B-OpenOrca Our latest model, the first 7B to score better overall than all… See the full description on the dataset page: https://huggingface.co/datasets/Open-Orca/OpenOrca.