Vikhrmodels/salt-asr_wav-uni_1_tts_wav-uni_1-12k
English Version 🇬🇧 --- Model Performance Overview Metrics: - PESQ@200: Perceptual Evaluation of Speech Quality (higher = better). - STOI@200: Short-Time Objective Intelligibility (closer to 1 = better). - SI-SDR@200: Scale-Invariant Signal-to-Dist...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🎯 Salt-ASR Wav-Uni 1-12k: Mô hình đa năng cho TTS và ASR
Mở rộng LLM bằng token âm thanh để xử lý đồng thời hai nhiệm vụ: tạo giọng nói và nhận dạng giọng nói.
Đây là mô hình ngôn ngữ lớn (LLM) được mở rộng để xử lý token âm thanh, hỗ trợ cả tạo giọng nói tự nhiên (TTS) và nhận dạng giọng nói (ASR). Dự án phát triển bởi Vikhrmodels, giải quyết nhu cầu xử lý âm thanh đa nhiệm với chi phí huấn luyện tối ưu.
✨ Điểm nổi bật
- Kết hợp TTS và ASR: Dùng một mô hình cho cả tạo giọng nói và nhận dạng giọng nói.
- Sử dụng SpeechTokenizer: Tách token ngữ nghĩa và token âm thanh, tránh vấn đề bùng nổ mất mát với Encodec.
- Huấn luyện hiệu quả: Chỉ mất 150 giờ GPU A100, áp dụng độ chính xác TF32 để ổn định quá trình huấn luyện.
- Hỗ trợ đa ngôn ngữ: Tạo giọng nói cho tiếng Anh, tiếng Đức và tiếng Pháp.
- Đánh giá chuẩn: Đo lường bằng PESQ, STOI, SI-SDR và SIM-O để đảm bảo chất lượng âm thanh.
- Mã nguồn mở: Cung cấp mã nguồn và bản ghi mô phỏng trên Google Colab.
💡 Vì sao đáng chú ý
Khác với các mô hình TTS truyền thống chuyên biệt cho một nhiệm vụ, Salt-ASR Wav-Uni 1-12k đưa ra cách tiếp cận thống nhất bằng cách mở rộng LLM với token âm thanh. Phương pháp này giảm đáng kể chi phí huấn luyện nhưng vẫn duy trì hiệu suất ổn định trên cả hai nhiệm vụ. Đây là lựa chọn hiệu quả cho các ứng dụng cần xử lý âm thanh đa nhiệm mà không cần triển khai nhiều mô hình riêng biệt.
#ASR #TTS #LLM #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
a.k.a. Awesome ChatGPT Prompts This is a Dataset Repository mirror of prompts.chat — a social platform for AI prompts. 📢 Notice This Hugging Face dataset is a mirror. For the latest prompts, features, and community contributions, please visit: 🌐 Website: prompts.chat 📦 GitHub: github.com/f/awesome-chatgpt-prompts About prompts.chat is an open-source platform where users can share, discover, and collect AI prompts from the community. The project can… See the full description on the dataset page: https://huggingface.co/datasets/fka/prompts.chat.
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
!FLUX.1 dev Grid(./devgrid.jpg) FLUX.1 dev is a 12 billion parameter rectified flow transformer capable of generating images from text descriptions. For more information, please read our blog post(https://blackforestlabs.ai/announcing-black-forest-la...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...