artur-muratov/multilingual-speech-commands-15lang
Multilingual Speech Commands Dataset (15 Languages, Augmented) This dataset contains augmented speech command samples in 15 languages, derived from multiple public datasets. Only commands that overlap with the Google Speech Commands (GSC) vocabulary are included, making the dataset suitable for multilingual keyword spotting tasks aligned with GSC-style classification. Audio samples have been augmented using standard audio techniques to improve model robustness (e.g.… See the full description on the dataset page: https://huggingface.co/datasets/artur-muratov/multilingual-speech-commands-15lang.
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🎙️ Bộ dữ liệu lệnh giọ nói đa ngôn ngữ 15 ngôn ngữ, tăng cường âm thanh
Bộ dữ liệu lệnh giọ nói được tăng cường âm thanh trong 15 ngôn ngữ, dựa trên từ vựng Google Speech Commands (GSC), phù hợp cho nhiệm vụ nhận diện từ khóa đa ngôn ngữ.
Đây là bộ dữ liệu chứa các mẫu lệnh giọ nói đã được tăng cường âm thanh trong 15 ngôn ngữ khác nhau, được trích xuất từ nhiều bộ dữ liệu công cộng. Chỉ các lệnh có từ vựng trùng khớp với Google Speech Commands (GSC) mới được bao gồm, giúp bộ dữ liệu phù hợp cho các nhiệm vụ nhận diện từ khóa đa ngôn ngữ theo chuẩn GSC.
✨ Điểm nổi bật
- Tăng cường âm thanh: Sử dụng kỹ thuật như dịch thời gian, chèn tiếng ồn, thay đổi cao độ để tăng độ bền vững của mô hình.
- Hỗ trợ 15 ngôn ngữ: Bao gồm tiếng Anh, Nga, Kazakh, Tatar, Arab, Thổ Nhĩ Kỳ, Pháp, Đức, Tây Ban Nha, Ý, Catalan, Ba Tư, Ba Lan, Hà Lan và Kinyarwanda.
- Cấu trúc theo thư mục: Được tổ chức thành các thư mục riêng biệt cho từng nhãn lệnh (ví dụ:
yes/,no/,go/,stop/, v.v.). - Tệp tin siêu dữ liệu: Bao gồm
training_list.txt,validation_list.txt,testing_list.txt,label_map.json, vàlang_map.jsonđể hỗ trợ huấn luyện và đánh giá. - Giấy phép mở: Tất cả mẫu âm thanh được phân phối dưới giấy phép Creative Commons Attribution 4.0 International (CC BY 4.0).
💡 Vì sao đáng chú ý
Bộ dữ liệu này nổi bật bởi sự kết hợp giữa đa ngôn ngữ và kỹ thuật tăng cường âm thanh, giúp các mô hình nhận diện giọ nói hoạt động tốt hơn trong môi trường thực tế. Việc chỉ sử dụng các lệnh trùng khớp với GSC giúp dễ dàng so sánh và đánh giá hiệu suất trên các nhiệm vụ chuẩn. Đặc biệt phù hợp cho các ứng dụng điều khiển bằng giọ nói trên robot và hệ thống thông minh.
#MultilingualSpeechCommands #KeywordSpotting #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
Dataset Card for Wikimedia Wikipedia Dataset Summary Wikipedia dataset containing cleaned articles of all languages. The dataset is built from the Wikipedia dumps (https://dumps.wikimedia.org/) with one subset per language, each containing a single train split. Each example contains the content of one full Wikipedia article with cleaning to strip markdown and unwanted sections (references, etc.). All language subsets have already been processed for recent dump… See the full description on the dataset page: https://huggingface.co/datasets/wikimedia/wikipedia.
OpenAssistant Conversations Dataset (OASST1) Dataset Summary In an effort to democratize research on large-scale alignment, we release OpenAssistant Conversations (OASST1), a human-generated, human-annotated assistant-style conversation corpus consisting of 161,443 messages in 35 different languages, annotated with 461,292 quality ratings, resulting in over 10,000 fully annotated conversation trees. The corpus is a product of a worldwide crowd-sourcing effort… See the full description on the dataset page: https://huggingface.co/datasets/OpenAssistant/oasst1.
Wikipedia dataset containing cleaned articles of all languages. The datasets are built from the Wikipedia dump (https://dumps.wikimedia.org/) with one split per language. Each example contains the content of one full Wikipedia article with cleaning to strip markdown and unwanted sections (references, etc.).
C4 Dataset Summary A colossal, cleaned version of Common Crawl's web crawl corpus. Based on Common Crawl dataset: "https://commoncrawl.org". This is the processed version of Google's C4 dataset We prepared five variants of the data: en, en.noclean, en.noblocklist, realnewslike, and multilingual (mC4). For reference, these are the sizes of the variants: en: 305GB en.noclean: 2.3TB en.noblocklist: 380GB realnewslike: 15GB multilingual (mC4): 9.7TB (108 subsets, one… See the full description on the dataset page: https://huggingface.co/datasets/allenai/c4.
CulturaX Cleaned, Enormous, and Public: The Multilingual Fuel to Democratize Large Language Models for 167 Languages Dataset Summary We present CulturaX, a substantial multilingual dataset with 6.3 trillion tokens in 167 languages, tailored for large language model (LLM) development. Our dataset undergoes meticulous cleaning and deduplication through a rigorous pipeline of multiple stages to accomplish the best quality for model training, including language… See the full description on the dataset page: https://huggingface.co/datasets/uonlp/CulturaX.
Dataset Card for OPUS-100 Dataset Summary OPUS-100 is an English-centric multilingual corpus covering 100 languages. OPUS-100 is English-centric, meaning that all training pairs include English on either the source or target side. The corpus covers 100 languages (including English). The languages were selected based on the volume of parallel data available in OPUS. Supported Tasks and Leaderboards Translation. Languages OPUS-100… See the full description on the dataset page: https://huggingface.co/datasets/Helsinki-NLP/opus-100.
Dataset Card for WikiANN Dataset Summary WikiANN (sometimes called PAN-X) is a multilingual named entity recognition dataset consisting of Wikipedia articles annotated with LOC (location), PER (person), and ORG (organisation) tags in the IOB2 format. This version corresponds to the balanced train, dev, and test splits of Rahimi et al. (2019), which supports 176 of the 282 languages from the original WikiANN corpus. Supported Tasks and Leaderboards… See the full description on the dataset page: https://huggingface.co/datasets/unimelb-nlp/wikiann.
The Open Super-large Crawled ALMAnaCH coRpus is a huge multilingual corpus obtained by language classification and filtering of the Common Crawl corpus using the goclassy architecture.\
Dataset Card for FLORES+ FLORES+ is an evaluation benchmark dataset for multilingual machine translation. Dataset Details Dataset Description FLORES+ is a multilingual machine translation benchmark released under CC BY-SA 4.0. This dataset was originally released by FAIR researchers at Meta under the name FLORES. Further information about these initial releases can be found in Dataset Sources below. The data is now being managed by OLDI, the Open… See the full description on the dataset page: https://huggingface.co/datasets/openlanguagedata/flores_plus.