mteb/banking77
Banking77Classification An MTEB dataset Massive Text Embedding Benchmark Dataset composed of online banking queries annotated with their corresponding intents. Task category t2c Domains Written Reference https://arxiv.org/abs/2003.04807 How to evaluate on this task You can evaluate an embedding model on this dataset using the following code: import mteb task = mteb.get_tasks(["Banking77Classification"]) evaluator = mteb.MTEB(task) model =… See the full description on the dataset page: https://huggingface.co/datasets/mteb/banking77.
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
📊 Banking77 — Bộ dữ liệu intent ngân hàng điện tử cho MTEB
Bộ dữ liệu gồm câu hỏi ngân hàng được con người gán nhãn intent, dùng để đánh giá mô hình nhúng văn bản.
Banking77 là một dataset thuộc khung Massive Text Embedding Benchmark (MTEB), được thiết kế để đánh giảo khả năng phân loại intent của các mô hình nhúng văn bản. Dữ liệu bao gồm các truy vấn ngân hàng điện tử được con người gán nhãn chính xác, phản ánh thực tế sử dụng người dùng trong môi trường ngân hàng số.
✨ Điểm nổi bật
- Dữ liệu con người gán nhãn: Tất cả truy vấn đều được con người gán nhãn intent chính xác.
- Phân loại intent ngân hàng: Tập trung vào 77 lớp intent liên quan đến dịch vụ ngân hàng điện tử.
- Hỗ trợ đánh giá MTEB: Tích hợp sẵn trong khung MTEB để đánh giá mô hình nhúng văn bản.
- Định dạng chuẩn: Cung cấp dữ liệu dưới dạng parquet, dễ dàng tải về và sử dụng với các thư viện như datasets, pandas, polars.
- Quy mô vừa đủ: Khoảng 10.000 mẫu huấn luyện và hơn 3.000 mẫu kiểm tra.
- Nghiên cứu nền tảng: Dựa trên nghiên cứu "Efficient Intent Detection with Dual Sentence Encoders".
💡 Vì sao đáng chú ý
Banking77 khác biệt so với các bộ dữ liệu intent chung bởi sự tập trung sâu vào ngành ngân hàng điện tử. Đây là lựa chọn lý tưởng để kiểm thử và so sánh hiệu năng của các mô hình nhúng văn bản trong bối cảnh ứng dụng thực tế như chatbot ngân hàng hoặc hệ thống hỗ trợ khách hàng tự động.
#MTEB #TextEmbedding #IntentClassification #BankingAI #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Dataset Card for GSM8K Dataset Summary GSM8K (Grade School Math 8K) is a dataset of 8.5K high quality linguistically diverse grade school math word problems. The dataset was created to support the task of question answering on basic mathematical problems that require multi-step reasoning. These problems take between 2 and 8 steps to solve. Solutions primarily involve performing a sequence of elementary calculations using basic arithmetic operations (+ − ×÷) to… See the full description on the dataset page: https://huggingface.co/datasets/openai/gsm8k.
Dataset Card for "imdb" Dataset Summary Large Movie Review Dataset. This is a dataset for binary sentiment classification containing substantially more data than previous benchmark datasets. We provide a set of 25,000 highly polar movie reviews for training, and 25,000 for testing. There is additional unlabeled data for use as well. Supported Tasks and Leaderboards More Information Needed Languages More Information Needed… See the full description on the dataset page: https://huggingface.co/datasets/stanfordnlp/imdb.
Dataset Card for GLUE Dataset Summary GLUE, the General Language Understanding Evaluation benchmark (https://gluebenchmark.com/) is a collection of resources for training, evaluating, and analyzing natural language understanding systems. Supported Tasks and Leaderboards The leaderboard for the GLUE benchmark can be found at this address. It comprises the following tasks: ax A manually-curated evaluation dataset for fine-grained… See the full description on the dataset page: https://huggingface.co/datasets/nyu-mll/glue.
Dataset Card for SQuAD Dataset Summary Stanford Question Answering Dataset (SQuAD) is a reading comprehension dataset, consisting of questions posed by crowdworkers on a set of Wikipedia articles, where the answer to every question is a segment of text, or span, from the corresponding reading passage, or the question might be unanswerable. SQuAD 1.1 contains 100,000+ question-answer pairs on 500+ articles. Supported Tasks and Leaderboards Question… See the full description on the dataset page: https://huggingface.co/datasets/rajpurkar/squad.
OpenAssistant Conversations Dataset (OASST1) Dataset Summary In an effort to democratize research on large-scale alignment, we release OpenAssistant Conversations (OASST1), a human-generated, human-annotated assistant-style conversation corpus consisting of 161,443 messages in 35 different languages, annotated with 461,292 quality ratings, resulting in over 10,000 fully annotated conversation trees. The corpus is a product of a worldwide crowd-sourcing effort… See the full description on the dataset page: https://huggingface.co/datasets/OpenAssistant/oasst1.
Dataset Card for Alpaca Dataset Summary Alpaca is a dataset of 52,000 instructions and demonstrations generated by OpenAI's text-davinci-003 engine. This instruction data can be used to conduct instruction-tuning for language models and make the language model follow instruction better. The authors built on the data generation pipeline from Self-Instruct framework and made the following modifications: The text-davinci-003 engine to generate the instruction data… See the full description on the dataset page: https://huggingface.co/datasets/tatsu-lab/alpaca.
Dataset Card for MMLU Dataset Summary Measuring Massive Multitask Language Understanding by Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, and Jacob Steinhardt (ICLR 2021). This is a massive multitask test consisting of multiple-choice questions from various branches of knowledge. The test spans subjects in the humanities, social sciences, hard sciences, and other areas that are important for some people to learn. This covers 57… See the full description on the dataset page: https://huggingface.co/datasets/cais/mmlu.
a.k.a. Awesome ChatGPT Prompts This is a Dataset Repository mirror of prompts.chat — a social platform for AI prompts. 📢 Notice This Hugging Face dataset is a mirror. For the latest prompts, features, and community contributions, please visit: 🌐 Website: prompts.chat 📦 GitHub: github.com/f/awesome-chatgpt-prompts About prompts.chat is an open-source platform where users can share, discover, and collect AI prompts from the community. The project can… See the full description on the dataset page: https://huggingface.co/datasets/fka/prompts.chat.
🐋 The OpenOrca Dataset! 🐋 We are thrilled to announce the release of the OpenOrca dataset! This rich collection of augmented FLAN data aligns, as best as possible, with the distributions outlined in the Orca paper. It has been instrumental in generating high-performing model checkpoints and serves as a valuable resource for all NLP researchers and developers! Official Models Mistral-7B-OpenOrca Our latest model, the first 7B to score better overall than all… See the full description on the dataset page: https://huggingface.co/datasets/Open-Orca/OpenOrca.