GreenNode/GreenNode-Table-Markdown-Retrieval-VN
GreenNodeTableMarkdownRetrieval An MTEB dataset Massive Text Embedding Benchmark GreenNodeTable documents Task category t2t Domains Financial, Encyclopaedic, Non-fiction Reference https://huggingface.co/GreenNode Source datasets: GreenNode/GreenNode-Table-Markdown-Retrieval-VN How to evaluate on this task You can evaluate an embedding model on this dataset using the following code: import mteb task =… See the full description on the dataset page: https://huggingface.co/datasets/GreenNode/GreenNode-Table-Markdown-Retrieval-VN.
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#2 Repository Của Tuần
#2 Repository Của Tuần
📊 Bộ dữ liệu truy xuất bảng Markdown bằng tiếng Việt từ GreenNode
Đánh giá mô hình nhúng văn bản trên tài liệu có bảng định dạng Markdown, nội dung lớn hơn ViQuAD2.0.
GreenNode-Table-Markdown-Retrieval-VN là một bộ dữ liệu thuộc chuẩn MTEB (Massive Text Embedding Benchmark), hướng đến việc đánh giá khả năng truy xuất thông tin từ các tài liệu chứa bảng được định dạng bằng Markdown. Dự án được xây dựng dựa trên nghiên cứu GN-TRVN, ra đời để giải quyết thách thức truy xuất dữ liệu giàu định dạng như bảng trong văn bản thường không cấu trúc hóa.
✨ Điểm nổi bật
- Dữ liệu con người chú thích: Toàn bộ dữ liệu được con người xác minh chất lượng.
- Hỗ trợ đánh giá mô hình nhúng: Tích hợp sẵn với khung MTEB để chạy đánh giá nhanh.
- Phạm vi lĩnh vực rộng: Bao gồm tài liệu tài chính, học thuật và phi hư cấu.
- Cấu trúc dữ liệu chuẩn: Gồm cấu hình corpus, queries, qrels hỗ trợ đánh giá truy xuất tài liệu.
- Dữ liệu lớn: Hơn 44.000 tài liệu và hơn 143.000 cặp truy vuất.
💡 Vì sao đáng chú ý
Khác với các bộ dữ liệu truy xuất văn bản truyền thống chỉ xử lý văn bản phẳng, bộ dữ liệu này tập trung vào tài liệu có bảng Markdown — một định dạng phổ biến trong tài liệu thực tế nhưng khó truy xuất. Nó cung cấp một môi trường kiểm thử thực tế cho các mô hình nhúng văn bản trong xử lý ngôn ngữ tiếng Việt.
#MTEB #Vietnamese #TextRetrieval #MarkdownTable #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
ZacLegalTextRetrieval An MTEB dataset Massive Text Embedding Benchmark Zalo Legal Text documents Task category t2t Domains Legal Reference https://challenge.zalo.ai/ Source datasets: GreenNode/zalo-ai-legal-text-retrieval-vn How to evaluate on this task You can evaluate an embedding model on this dataset using the following code: import mteb task = mteb.get_task("ZacLegalTextRetrieval") evaluator = mteb.MTEB([task]) model =… See the full description on the dataset page: https://huggingface.co/datasets/GreenNode/zalo-ai-legal-text-retrieval-vn.
MassiveIntentClassification An MTEB dataset Massive Text Embedding Benchmark MASSIVE: A 1M-Example Multilingual Natural Language Understanding Dataset with 51 Typologically-Diverse Languages Task category t2c Domains Spoken Reference https://arxiv.org/abs/2204.08582 How to evaluate on this task You can evaluate an embedding model on this dataset using the following code: import mteb task = mteb.get_tasks(["MassiveIntentClassification"]) evaluator… See the full description on the dataset page: https://huggingface.co/datasets/mteb/amazon_massive_intent.
Tatoeba An MTEB dataset Massive Text Embedding Benchmark 1,000 English-aligned sentence pairs for each language based on the Tatoeba corpus Task category t2t Domains Written Reference https://github.com/facebookresearch/LASER/tree/main/data/tatoeba/v1 How to evaluate on this task You can evaluate an embedding model on this dataset using the following code: import mteb task = mteb.get_tasks(["Tatoeba"]) evaluator = mteb.MTEB(task) model =… See the full description on the dataset page: https://huggingface.co/datasets/mteb/tatoeba-bitext-mining.
MassiveScenarioClassification An MTEB dataset Massive Text Embedding Benchmark MASSIVE: A 1M-Example Multilingual Natural Language Understanding Dataset with 51 Typologically-Diverse Languages Task category t2c Domains Spoken Reference https://arxiv.org/abs/2204.08582 How to evaluate on this task You can evaluate an embedding model on this dataset using the following code: import mteb task = mteb.get_tasks(["MassiveScenarioClassification"])… See the full description on the dataset page: https://huggingface.co/datasets/mteb/amazon_massive_scenario.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...
Dataset Card for HH-RLHF Dataset Summary This repository provides access to two different kinds of data: Human preference data about helpfulness and harmlessness from Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback. These data are meant to train preference (or reward) models for subsequent RLHF training. These data are not meant for supervised training of dialogue agents. Training dialogue agents on these data is likely… See the full description on the dataset page: https://huggingface.co/datasets/Anthropic/hh-rlhf.
Dataset Card for GSM8K Dataset Summary GSM8K (Grade School Math 8K) is a dataset of 8.5K high quality linguistically diverse grade school math word problems. The dataset was created to support the task of question answering on basic mathematical problems that require multi-step reasoning. These problems take between 2 and 8 steps to solve. Solutions primarily involve performing a sequence of elementary calculations using basic arithmetic operations (+ − ×÷) to… See the full description on the dataset page: https://huggingface.co/datasets/openai/gsm8k.
Dataset Card for MMLU Dataset Summary Measuring Massive Multitask Language Understanding by Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, and Jacob Steinhardt (ICLR 2021). This is a massive multitask test consisting of multiple-choice questions from various branches of knowledge. The test spans subjects in the humanities, social sciences, hard sciences, and other areas that are important for some people to learn. This covers 57… See the full description on the dataset page: https://huggingface.co/datasets/cais/mmlu.