Davidsamuel101/MUDIDI
MUDIDI Dataset Gold annotations and source pages for MUDIDI, a two-stage benchmark for multilingual dictionary digitization. Access: This dataset is gated (gated: auto). Log in, open the dataset page, accept the benchmark access conditions (non-commercial use, no crawler-exposed re-hosting, no training-data contamination when evaluating), then authenticate with a Hugging Face token before downloading. Dataset summary Property Value Dictionaries 30… See the full description on the dataset page: https://huggingface.co/datasets/Davidsamuel101/MUDIDI.
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Ngày
#1 Repository Của Ngày
#1 Repository Của Ngày
📚 MUDIDI: Bộ dữ liệu đánh giá OCR và chuyển đổi từ điển số đa ngôn ngữ
MUDIDI cung cấp chú thích vàng và trang nguồn gốc từ bản đồ số từ điển đa ngôn ngữ, dùng để xây dựng benchmark đánh giá chất lượng OCR và xử lý ngôn ngữ tự nhiên.
MUDIDI (Multilingual Dictionary Digitization) là một bộ dữ liệu được thiết kế để hỗ trợ việc đánh giá các mô hình chuyển đổi từ điển số qua hai giai đoạn: nhận dạnh văn bản từ ảnh quét (OCR) và sinh ra định dạng từ điển chuẩn. Bộ dữ liệu bao gồm 30 cặp ngôn ngữ khác nhau, từ các ngôn ngữ hiếm như Chukchi, Evenki, Shilluk đến các ngôn ngữ phổ biến như tiếng Việt, tiếng Nhật, tiếng Hy Lạp. Mỗi mẫu dữ liệu chứa page_id, ocr_text (văn bản OCR từ ảnh nguồn) và mdf_text (văn bản đã được chú thích và chuẩn hóa dưới định dạng MDF - Multi-Dictionary Format).
✨ Điểm nổi bật
- Hỗ trợ 30 cặp ngôn ngữ: từ các ngôn ngữ hiếm đến ngôn ngữ phổ biến, phù hợp cho nghiên cứu đa ngôn ngữ.
- Chú thích vàng chuẩn xác: mỗi mẫu được chú thích bởi con người, đảm bảo chất lượng đánh giả cho mô hình.
- Định dạng MDF chuẩn: hỗ trợ xuất ra định dạng Multi-Dictionary Format, dùng rộng rãi trong lĩnh vực từ điển số.
- Nguồn công cộng từ HathiTrust: ảnh nguồn lấy từ các bản quét công cộng, đảm bảo tính hợp pháp.
- Đánh giá hai giai đoạn: hỗ trợ đánh giả cả bước OCR và bước sinh từ điển.
- Giấy phép CC BY-NC 4.0: cho phép sử dụng phi thương mại, phù hợp cho nghiên cứu học thuật.
💡 Vì sao đáng chú ý
MUDIDI khác biệt từ các bộ dữ liệu OCR thông thường ở chỗ tập trung vào bài toán chuyển đổi từ điển số chuyên biệt, kết hợp cả khía cạnh kỹ thuật (OCR) và ngôn ngữ học (cấu trúc từ điển). Điều này giúp các nhà nghiên cứu đánh giả toàn bộ pipeline xử lý từ ảnh đến từ điển số chuẩn. Bộ dữ liệu đặc biệt hữu ích cho các dự án xây dựng từ điển số tự động, công cụ hỗ trợ ngôn ngữ thiểu số, và các nghiên cứu về OCR đa ngôn ngữ.
#MachineLearning #OCR #DictionaryDigitization #Multilingual #OpenData #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Dataset Card for Alpaca Dataset Summary Alpaca is a dataset of 52,000 instructions and demonstrations generated by OpenAI's text-davinci-003 engine. This instruction data can be used to conduct instruction-tuning for language models and make the language model follow instruction better. The authors built on the data generation pipeline from Self-Instruct framework and made the following modifications: The text-davinci-003 engine to generate the instruction data… See the full description on the dataset page: https://huggingface.co/datasets/tatsu-lab/alpaca.
GAIA dataset GAIA is a benchmark which aims at evaluating next-generation LLMs (LLMs with augmented capabilities due to added tooling, efficient prompting, access to search, etc). We added gating to prevent bots from scraping the dataset. Please do not reshare the validation or test set in a crawlable format. Data and leaderboard GAIA is made of more than 450 non-trivial question with an unambiguous answer, requiring different levels of tooling and autonomy to… See the full description on the dataset page: https://huggingface.co/datasets/gaia-benchmark/GAIA.
Dataset Card for GSM8K Dataset Summary GSM8K (Grade School Math 8K) is a dataset of 8.5K high quality linguistically diverse grade school math word problems. The dataset was created to support the task of question answering on basic mathematical problems that require multi-step reasoning. These problems take between 2 and 8 steps to solve. Solutions primarily involve performing a sequence of elementary calculations using basic arithmetic operations (+ − ×÷) to… See the full description on the dataset page: https://huggingface.co/datasets/openai/gsm8k.
Agentic RL Environments RL training environments for LLM agents. Domain Task Family Verifier Code Software engineering Executable tests Cyber Vulnerability reproduction Rule checks General Knowledge work Rubric-based judging Visual Web development Visual grading Music Symbolic music composition Rule checks Docker images: https://hub.docker.com/r/xiaomimimo/mimo-v2.6-rl-oss Training code: https://github.com/XiaomiMiMo/verl
Dataset Card for Wikimedia Wikipedia Dataset Summary Wikipedia dataset containing cleaned articles of all languages. The dataset is built from the Wikipedia dumps (https://dumps.wikimedia.org/) with one subset per language, each containing a single train split. Each example contains the content of one full Wikipedia article with cleaning to strip markdown and unwanted sections (references, etc.). All language subsets have already been processed for recent dump… See the full description on the dataset page: https://huggingface.co/datasets/wikimedia/wikipedia.
🐋 The OpenOrca Dataset! 🐋 We are thrilled to announce the release of the OpenOrca dataset! This rich collection of augmented FLAN data aligns, as best as possible, with the distributions outlined in the Orca paper. It has been instrumental in generating high-performing model checkpoints and serves as a valuable resource for all NLP researchers and developers! Official Models Mistral-7B-OpenOrca Our latest model, the first 7B to score better overall than all… See the full description on the dataset page: https://huggingface.co/datasets/Open-Orca/OpenOrca.
OpenAssistant Conversations Dataset (OASST1) Dataset Summary In an effort to democratize research on large-scale alignment, we release OpenAssistant Conversations (OASST1), a human-generated, human-annotated assistant-style conversation corpus consisting of 161,443 messages in 35 different languages, annotated with 461,292 quality ratings, resulting in over 10,000 fully annotated conversation trees. The corpus is a product of a worldwide crowd-sourcing effort… See the full description on the dataset page: https://huggingface.co/datasets/OpenAssistant/oasst1.
📚 FineWeb-Edu 1.3 trillion tokens of the finest educational data the 🌐 web has to offer Paper: https://arxiv.org/abs/2406.17557 What is it? 📚 FineWeb-Edu dataset consists of 1.3T tokens and 5.4T tokens (FineWeb-Edu-score-2) of educational web pages filtered from 🍷 FineWeb dataset. This is the 1.3 trillion version. To enhance FineWeb's quality, we developed an educational quality classifier using annotations generated by LLama3-70B-Instruct. We… See the full description on the dataset page: https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu.
Dataset containing synthetically generated (by GPT-3.5 and GPT-4) short stories that only use a small vocabulary. Described in the following paper: https://arxiv.org/abs/2305.07759. The models referred to in the paper were trained on TinyStories-train.txt (the file tinystories-valid.txt can be used for validation loss). These models can be found on Huggingface, at roneneldan/TinyStories-1M/3M/8M/28M/33M/1Layer-21M. Additional resources: tinystories_all_data.tar.gz - contains a superset of… See the full description on the dataset page: https://huggingface.co/datasets/roneneldan/TinyStories.