met4citizen/HeadTTS
HeadTTS: Free neural text-to-speech (Kokoro) with timestamps and visemes for lip-sync. Runs in-browser (WebGPU/WASM) or on local Node.js WebSocket/REST server (WebGPU/CPU).
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#2 Repository Của Tuần
🗣️ HeadTTS: TTS miễn phí với timestamp và visemes cho lip-sync
Giải pháp text-to-speech miễn phí, không cần server khi chạy trên trình duyệt.
HeadTTS là một thư viện JavaScript hỗ trợ chuyển đổi văn bản thành giọng nói (TTS) sử dụng mô hình thần kinh Kokoro. Nó cung cấp thêm thông tin về thời gian (timestamps) và các ký tự miệng (visemes) để đồng bộ hóa với động tác mặt, rất hữu ích cho các ứng dụng lip-sync. HeadTTS có thể chạy trực tiếp trên trình duyệt (WebGPU/WASM) hoặc trên máy chủ Node.js (WebSocket/REST).
✨ Điểm nổi bật
- Miễn phí hoàn toàn: Không yêu cầu trả phí, hỗ trợ chạy trên trình duyệt mà không cần server.
- Hỗ trợ WebGPU: Tận dụng WebGPU để tăng tốc độ xử lý trên trình duyệt hiện đại.
- Cung cấp timestamps và visemes: Hỗ trợ đồng bộ hóa chính xác cho các ứng dụng lip-sync.
- Tương thích với TalkingHead: Dễ dàng tích hợp với dự án TalkingHead để tạo video talking head.
- Hỗ trợ nhiều backend: Chạy trên trình duyệt (WebGPU/WASM) hoặc máy chủ Node.js (WebGPU/CPU).
- Giấy phép MIT: Không sử dụng bất kỳ thành phần nào dưới giấy phép GPL.
- Hỗ trợ đa giọng nói: Sử dụng mô hình giọng nói Kokoro với nhiều lựa chọn giọng nói tiếng Anh.
- Điều chỉnh tùy biến: Hỗ trợ cấu hình tốc độ, độ trễ viseme, độ phân giải âm thanh và nhiều tùy chọn khác.
💡 Vì sao đáng chú ý
HeadTTS nổi bật nhờ khả năng cung cấp thông tin chi tiết về timestamps và visemes, rất cần thiết cho các ứng dụng đòi hỏi đồng bộ hóa âm thanh và hình ảnh như lip-sync. Không giống các giải pháp TTS truyền thống chỉ tạo ra file âm thanh, HeadTTS cung cấp dữ liệu có cấu trúc giúp dễ dàng tích hợp vào pipeline xử lý video hoặc 3D. Đặc biệt, HeadTTS có thể chạy hoàn toàn trên trình duyệt nhờ WebGPU, giúp giảm chi phí triển vọng và phụ thuộc vào máy chủ.
#HeadTTS #TextToSpeech #LipSync #WebGPU #OpenSource #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
HeadAudio: An audio node/processor for real-time audio-driven viseme detection and lip-sync in browsers.
Kokoro is an open-weight TTS model with 82 million parameters. Despite its lightweight architecture, it delivers comparable quality to larger models while being significantly faster and more cost-efficient. With Apache-licensed weights, Kokoro can be...
This project is a digital human that can talk and listen to you. It uses OpenAI's GPT to generate responses, OpenAI's Whisper to transcript the audio, Eleven Labs to generate voice and Rhubarb Lip Sync to generate the lip sync.
ⓍTTS ⓍTTS is a Voice generation model that lets you clone voices into different languages by using just a quick 6-second audio clip. There is no need for an excessive amount of training data that spans countless hours. This is the same or similar mo...
Dia is a 1.6B parameter text to speech model created by Nari Labs. It was pushed to the Hub using the PytorchModelHubMixin(https://huggingface.co/docs/huggingfacehub/packagereference/mixinshuggingfacehub.PyTorchModelHubMixin) integration. Dia direct...
VibeVoice: A Frontier Open-Source Text-to-Speech Model VibeVoice is a novel framework designed for generating expressive, long-form, multi-speaker conversational audio, such as podcasts, from text. It addresses significant challenges in traditional...
Qwen3-TTS Overview Introduction Qwen3-TTS covers 10 major languages (Chinese, English, Japanese, Korean, German, French, Russian, Portuguese, Spanish, and Italian) as well as multiple dialectal voice profiles to meet global application needs. In add...
CSM 1B 2025/05/20 - CSM is availabile natively in Hugging Face Transformers(https://huggingface.co/docs/transformers/main/en/modeldoc/csm) 🤗 as of version 4.52.1 2025/03/13 - We are releasing the 1B CSM variant. The checkpoint is hosted on Hugging...
Chatterbox TTS Made with ❤️ by Latest Release: Chatterbox Multilingual V3 Chatterbox Multilingual V3 is the latest general-purpose multilingual TTS model in the Chatterbox family. It keeps the same 0.5B model size while improving speaker similarity,...