PolyAI/minds14
MInDS-14 MINDS-14 is training and evaluation resource for intent detection task with spoken data. It covers 14 intents extracted from a commercial system in the e-banking domain, associated with spoken examples in 14 diverse language varieties. Example MInDS-14 can be downloaded and used as follows: from datasets import load_dataset minds_14 = load_dataset("PolyAI/minds14", "fr-FR") # for French # to download all data for multi-lingual fine-tuning uncomment… See the full description on the dataset page: https://huggingface.co/datasets/PolyAI/minds14.
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tháng
#1 Repository Của Tháng
🎯 MInDS-14: Bộ dữ liệu giọng nói đa ngôn ngữ cho nhận dạng ý định trong e-banking
Bộ dữ liệu giọng nói đa ngôn ngữ với 14 nhãn ý động (intent) được trích xuất từ hệ thống thương mại thực tế trong lĩnh vực ngân hàng điện tử.
MInDS-14 là một tài nguyên huấn luyện và đánh giá cho nhiệm vụ phát hiện ý định (intent detection) từ dữ liệu nói. Bộ dữ liệu bao phủ 14 ý định khác nhau trong lĩnh vực e-banking, được kèm theo các ví dụ dạng giọng nói bằng 14 biến thể ngôn ngữ đa dạng. Đây là lựa chọn lý tưởng cho việc huấn luyện mô hình nhận dạng giọng nói đa ngôn ngữ.
✨ Điểm nổi bật
- 14 nhãn ý động: Bao gồm các nhưng như
balance,pay_bill,atm_limit,card_issues... - Đa ngôn ngữ: Hỗ trợ 14 biến thể ngôn ngữ bao gồm tiếng Anh, Pháp, Đức, Tây Ban Nha, Ý, Bồ Đào Nha, Hà Lan, Nga, Ba Lan, Séc, Hàn Quốc, Trung Quốc...
- Nguồn dữ liệu đa dạng: Kết hợp giọng nói được tạo bởi chuyên gia, cộng đồng và máy tính.
- Dễ sử dụng: Tải về và sử dụng trực tiếp thông qua thư viện
datasetscủa Hugging Face. - Hỗ trợ fine-tuning đa ngôn ngữ: Cấu hình
allcho phép tải toàn bộ dữ liệu để huấn luyện mô hình đa ngôn ngữ. - Giấy phép mở: Sử dụng giấy phép CC BY 4.0, cho phép sử dụng thương mại và chỉnh sửa.
💡 Vì sao đáng chú ý
MInDS-14 khác biệt vì sự kết hợp giữa dữ liệu giọng nói thực tế và các nhãn ý động rõ ràng trong lĩnh vực ngân hàng, giúp các nhà nghiên cứu phát triển mô hình nhận dạng giọng nói ứng dụng thực tế. Bộ dữ liệu hỗ trợ cả huấn luyện đơn ngôn ngữ lẫn đa ngôn ngữ, phù hợp cho cả nghiên cứu học thuật và phát triển sản phẩm thương mại.
#SpeechRecognition #IntentDetection #MultilingualDataset #Ebanking #HuggingFace #TiniX
Similar Projects
Discover other similar projects and AI models.
Dataset Card for Wikimedia Wikipedia Dataset Summary Wikipedia dataset containing cleaned articles of all languages. The dataset is built from the Wikipedia dumps (https://dumps.wikimedia.org/) with one subset per language, each containing a single train split. Each example contains the content of one full Wikipedia article with cleaning to strip markdown and unwanted sections (references, etc.). All language subsets have already been processed for recent dump… See the full description on the dataset page: https://huggingface.co/datasets/wikimedia/wikipedia.
OpenAssistant Conversations Dataset (OASST1) Dataset Summary In an effort to democratize research on large-scale alignment, we release OpenAssistant Conversations (OASST1), a human-generated, human-annotated assistant-style conversation corpus consisting of 161,443 messages in 35 different languages, annotated with 461,292 quality ratings, resulting in over 10,000 fully annotated conversation trees. The corpus is a product of a worldwide crowd-sourcing effort… See the full description on the dataset page: https://huggingface.co/datasets/OpenAssistant/oasst1.
CulturaX Cleaned, Enormous, and Public: The Multilingual Fuel to Democratize Large Language Models for 167 Languages Dataset Summary We present CulturaX, a substantial multilingual dataset with 6.3 trillion tokens in 167 languages, tailored for large language model (LLM) development. Our dataset undergoes meticulous cleaning and deduplication through a rigorous pipeline of multiple stages to accomplish the best quality for model training, including language… See the full description on the dataset page: https://huggingface.co/datasets/uonlp/CulturaX.
C4 Dataset Summary A colossal, cleaned version of Common Crawl's web crawl corpus. Based on Common Crawl dataset: "https://commoncrawl.org". This is the processed version of Google's C4 dataset We prepared five variants of the data: en, en.noclean, en.noblocklist, realnewslike, and multilingual (mC4). For reference, these are the sizes of the variants: en: 305GB en.noclean: 2.3TB en.noblocklist: 380GB realnewslike: 15GB multilingual (mC4): 9.7TB (108 subsets, one… See the full description on the dataset page: https://huggingface.co/datasets/allenai/c4.
Wikipedia dataset containing cleaned articles of all languages. The datasets are built from the Wikipedia dump (https://dumps.wikimedia.org/) with one split per language. Each example contains the content of one full Wikipedia article with cleaning to strip markdown and unwanted sections (references, etc.).
Dataset Card for MultiLingual LibriSpeech Dataset Summary This is a streamable version of the Multilingual LibriSpeech (MLS) dataset. The data archives were restructured from the original ones from OpenSLR to make it easier to stream. MLS dataset is a large multilingual corpus suitable for speech research. The dataset is derived from read audiobooks from LibriVox and consists of 8 languages - English, German, Dutch, Spanish, French, Italian, Portuguese, Polish.… See the full description on the dataset page: https://huggingface.co/datasets/facebook/multilingual_librispeech.
Common Voice is Mozilla's initiative to help teach machines how real people speak. The dataset currently consists of 7,335 validated hours of speech in 60 languages, but we’re always adding more voices and languages.
Dataset Card for WikiANN Dataset Summary WikiANN (sometimes called PAN-X) is a multilingual named entity recognition dataset consisting of Wikipedia articles annotated with LOC (location), PER (person), and ORG (organisation) tags in the IOB2 format. This version corresponds to the balanced train, dev, and test splits of Rahimi et al. (2019), which supports 176 of the 282 languages from the original WikiANN corpus. Supported Tasks and Leaderboards… See the full description on the dataset page: https://huggingface.co/datasets/unimelb-nlp/wikiann.
Dataset Card for FLORES+ FLORES+ is an evaluation benchmark dataset for multilingual machine translation. Dataset Details Dataset Description FLORES+ is a multilingual machine translation benchmark released under CC BY-SA 4.0. This dataset was originally released by FAIR researchers at Meta under the name FLORES. Further information about these initial releases can be found in Dataset Sources below. The data is now being managed by OLDI, the Open… See the full description on the dataset page: https://huggingface.co/datasets/openlanguagedata/flores_plus.