Colombia
asanchezyali/talking-avatar-with-ai
This project is a digital human that can talk and listen to you. It uses OpenAI's GPT to generate responses, OpenAI's Whisper to transcript the audio, Eleven Labs to generate voice and Rhubarb Lip Sync to generate the lip sync.
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🧠 Avatar số thông minh: Nói, nghe và biểu cảm sống động như con người
Một trợ lý số có giọng nói, biểu cảm khuôn mặt và động tác mượt mà — mọi thứ đều do AI điều khiển.
Dự án talking-avatar-with-ai là một đại diện số (digital human) có khả năng trò chuyện hai chiều với người dùng. Nó kết hợp sức mạnh của OpenAI GPT để sinh câu trả lời, OpenAI Whisper để chuyển đổi giọn nói thành văn bản, ElevenLabs để tạo giọng nói tự nhiên, và Rhubarb Lip Sync để sinh liệu đồng bộ hóa miệng nói với hình ảnh. Đây là trải nghiệm AI chưa từng có: một kê nhân ảo sống động, có cảm xúc và phong cách riêng.
✨ Điểm nổi bật
- GPT làm não bộ não: Dùng mô hình ngôn ngữ lớn để sinh câu trả lời tự nhiên, kèm cấu trúc JSON chuẩn hóa gồm văn bản, biểu cảm khuôn mặt và hoạt họa.
- Whisper chuyển giọn sang chữ: Chuyển đổi giọng nói người dùng thành văn bản để xử lý ngữ nghĩa một cách chính xác.
- ElevenLabs tạo giọng nói sống động: Sinh ra giọng đọc rõ nét, tự nhiên, gần gũa như người thật.
- Rhubarb Lip Sync sinh viseme: Tạo dữ liệu đồng bộ hóa miệng nói để avatar mở miệng chính xác theo âm thanh.
- Biểu cảm & động tác đa dạng: Hỗ trợ nhiều biểu cảm khuôn mặt (smile, sad, angry...) và hoạt hình cơ thể (TalkingOne, Idle, Surprised...) để tăng độ tin cậy cảm xúc.
- Hỗ trợ đầu vào đa dạng: Xử lý cả đầu vào dạng văn bản và âm thanh, linh hoạt ứng dụng.
- Cấu trúc phản hồi chuẩn hóa: Mỗi tin nhắn kèm thông tin chi tiết về audio, viseme và trạng thái biểu cảm — dễ tích hợp vào giao diện đa phương tiện.
💡 Vì sao đáng chú ý
Khác với các dự án avatar AI chỉ tập trung vào một khía cạnh như sinh giọng nói hoặc tạo hình ảnh, dự án này tích hợp toàn bộ pipeline: từ nhận diện giọng nói, sinh câu trả lời thông minh, tạo giọng nói cho đến đồng bộ hóa biểu cảm khuôn mặt và mở miệng. Điều này giúp đại diện số không chỉ "nói" mà còn "trả lời" và "phản ứng" như một người thật.
Ứng dụng phù hợp cho các sàn giao diện AI ảo, chatbot đa phương tiện, hoặc nền tảng giáo dục tương tác nơi người dùng cần một điểm giao tiếp số sinh động và thân thiện.
#AIDigitalHuman #TalkingAvatar #LLM #TTS #LipSync #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other models.
HeadTTS: Free neural text-to-speech (Kokoro) with timestamps and visemes for lip-sync. Runs in-browser (WebGPU/WASM) or on local Node.js WebSocket/REST server (WebGPU/CPU).
HanaVerse is a interactive web UI for chatting with ollama with a lively 2D anime character Hana. Star it on GitHub!
HeadAudio: An audio node/processor for real-time audio-driven viseme detection and lip-sync in browsers.
🚀 Truly open-source AI avatar(digital human) toolkit for offline video generation and digital human cloning.
Swap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.
🚀 The best real-time interactive AI avatar(digital human) with on-premise deployment and <1.5 s latency.