mteb/sts12-sts
STS12 An MTEB dataset Massive Text Embedding Benchmark SemEval-2012 Task 6. Task category t2t Domains Encyclopaedic, News, Written Reference https://www.aclweb.org/anthology/S12-1051.pdf How to evaluate on this task You can evaluate an embedding model on this dataset using the following code: import mteb task = mteb.get_tasks(["STS12"]) evaluator = mteb.MTEB(task) model = mteb.get_model(YOUR_MODEL) evaluator.run(model) To learn more about how… See the full description on the dataset page: https://huggingface.co/datasets/mteb/sts12-sts.
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#2 Repository Của Tháng
#2 Repository Của Tháng
#2 Repository Của Tháng
📊 Bộ dữ liệu STS12: Chuẩn đo độ tương đồng ngữ nghĩa câu viết
Bộ dữ liệu STS12 là một phần của MTEB (Massive Text Embedding Benchmark), cung cấp cặp câu và điểm số tương đồng ngữ nghĩa do con người gán nhãn.
STS12 là một tập dữ liệu thuộc SemEval-2012 Task 6, nằm trong khuôn khổ MTEB – một chuẩn benchmark lớn dùng để đánh giá hiệu năng của các mô hình nhúng văn bản (text embedding). Tập dữ liệu này bao gồm các cặp câu được con người đánh giá mức độ tương đồng ngữ nghĩa trên thang điểm từ 0 (không liên quan) đến 5 (rất giống nhau). Các cặp câu xuất phát từ các nguồn như bộ dữ liệu paraphrase, tài nguyên đánh giá dịch máy, cùng thêm hai bộ dữ liệu bất ngờ từ các nguồn khác nhau.
✨ Điểm nổi bật
- Human-annotated: Điểm số tương đồng được gán bởi con người thông qua Amazon Mechanical Turk, đảm bảo độ tin cậy cao.
- Thang điểm 0–5: Mỗi cặp câu được đánh giá dựa trên mức độ tương đồng ngữ nghĩa, hỗ trợ kiểu đánh giá liên tục.
- Nguồn đa dạng: Bao gồm cặp câu từ các nguồn như dữ liệu paraphrase, tài nguyên dịch máy, cũng như hai bộ dữ liệu bất ngờ chưa công bố trước đó.
- Tích hợp vào MTEB: Hỗ trợ đánh giá mô hình thông qua framework MTEB, dễ dàng tích hợp với các công cụ đánh giá embedding hiện đại.
- Miền ngữ liệu phong phú: Bao phủ các lĩnh vực như thư điện tử, tin tức và văn bản viết, phù hợp cho các tác vụ NLP đa dạng.
- Đánh giá bằng Pearson correlation: Cho phép so sánh chất lượng dự đoán của mô hình với nhãn con người một cách định lượng.
💡 Vì sao đáng chú ý
Khác biệt với các tập dữ liệu đánh giá tương đồng chỉ dựa trên nhãn phân lớp rời rạc, STS12 cung cấp điểm số liên tục, giúp mô hình học sâu hơn về sự chênh lệch nhỏ trong ngữ nghĩa. Đây là một chuẩn mực quan trọng trong lĩnh vực đánh giá mô hình nhúng văn bản, nơi các mô hình cần không chỉ phân biệt "giống" hay "khác" mà còn đo lường mứ độ giống nhau một cách chính xác.
#STS12 #MTEB #SemanticSimilarity #TextEmbedding #TiniX
Similar Projects
Discover other similar projects and AI models.
a.k.a. Awesome ChatGPT Prompts This is a Dataset Repository mirror of prompts.chat — a social platform for AI prompts. 📢 Notice This Hugging Face dataset is a mirror. For the latest prompts, features, and community contributions, please visit: 🌐 Website: prompts.chat 📦 GitHub: github.com/f/awesome-chatgpt-prompts About prompts.chat is an open-source platform where users can share, discover, and collect AI prompts from the community. The project can… See the full description on the dataset page: https://huggingface.co/datasets/fka/prompts.chat.
Dataset Card for Dataset Name This is the dataset that made OpenHermes 2.5 and Nous Hermes 2 series of models. Support me on GitHub sponsors <3 : https://github.com/sponsors/teknium1 Dataset Details Dataset Description The Open Hermes 2/2.5 and Nous Hermes 2 models have made significant advancements of SOTA LLM's over recent months, and are underpinned by this exact compilation and curation of many open source datasets and custom created synthetic… See the full description on the dataset page: https://huggingface.co/datasets/teknium/OpenHermes-2.5.
Dataset Card for GLUE Dataset Summary GLUE, the General Language Understanding Evaluation benchmark (https://gluebenchmark.com/) is a collection of resources for training, evaluating, and analyzing natural language understanding systems. Supported Tasks and Leaderboards The leaderboard for the GLUE benchmark can be found at this address. It comprises the following tasks: ax A manually-curated evaluation dataset for fine-grained… See the full description on the dataset page: https://huggingface.co/datasets/nyu-mll/glue.
Dataset Card for GSM8K Dataset Summary GSM8K (Grade School Math 8K) is a dataset of 8.5K high quality linguistically diverse grade school math word problems. The dataset was created to support the task of question answering on basic mathematical problems that require multi-step reasoning. These problems take between 2 and 8 steps to solve. Solutions primarily involve performing a sequence of elementary calculations using basic arithmetic operations (+ − ×÷) to… See the full description on the dataset page: https://huggingface.co/datasets/openai/gsm8k.
Summary databricks-dolly-15k is an open source dataset of instruction-following records generated by thousands of Databricks employees in several of the behavioral categories outlined in the InstructGPT paper, including brainstorming, classification, closed QA, generation, information extraction, open QA, and summarization. This dataset can be used for any purpose, whether academic or commercial, under the terms of the Creative Commons Attribution-ShareAlike 3.0 Unported… See the full description on the dataset page: https://huggingface.co/datasets/databricks/databricks-dolly-15k.
News [2025/04/22] We split the data and kept only the medical SFT dataset (medical_o1_sft.json). The file medical_o1_sft_mix.json contains a mix of medical and general instruction data. [2025/02/22] We released the distilled dataset from Deepseek-R1 based on medical verifiable problems. You can use it to initialize your models with the reasoning chain from Deepseek-R1. [2024/12/25] We open-sourced the medical reasoning dataset for SFT, built on medical verifiable problems and an… See the full description on the dataset page: https://huggingface.co/datasets/FreedomIntelligence/medical-o1-reasoning-SFT.
[!NOTE] IMPORTANT: Please help us protect the integrity of this benchmark by not publicly sharing, re-uploading, or distributing the dataset. Humanity's Last Exam 🌐 Website | 📄 Paper | GitHub Center for AI Safety & Scale AI Humanity's Last Exam (HLE) is a multi-modal benchmark at the frontier of human knowledge, designed to be the final closed-ended academic benchmark of its kind with broad subject coverage. Humanity's Last Exam consists of 2,500 questions across dozens… See the full description on the dataset page: https://huggingface.co/datasets/cais/hle.
Agentic RL Environments RL training environments for LLM agents. Domain Task Family Verifier Code Software engineering Executable tests Cyber Vulnerability reproduction Rule checks General Knowledge work Rubric-based judging Visual Web development Visual grading Music Symbolic music composition Rule checks Docker images: https://hub.docker.com/r/xiaomimimo/mimo-v2.6-rl-oss Training code: https://github.com/XiaomiMiMo/verl
Dataset Card for MMLU Dataset Summary Measuring Massive Multitask Language Understanding by Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, and Jacob Steinhardt (ICLR 2021). This is a massive multitask test consisting of multiple-choice questions from various branches of knowledge. The test spans subjects in the humanities, social sciences, hard sciences, and other areas that are important for some people to learn. This covers 57… See the full description on the dataset page: https://huggingface.co/datasets/cais/mmlu.