Trung Quốc
ictnlp/LLaMA-Omni
LLaMA-Omni is a low-latency and high-quality end-to-end speech interaction model built upon Llama-3.1-8B-Instruct, aiming to achieve speech capabilities at the GPT-4o level.
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#2 Repository Của Tuần
🦙🎧 LLaMA-Omni: Tương tác giọng nói liền mạch dựa trên Llama-3.1-8B
Mô hình speech-language mở nguồn hỗ trợ phản hồi văn bản + giọng nói đồng thời, độ trễ chỉ ~226ms.
LLaMA-Omni là mô hình ngôn ngữ lớn đa phương thức (multimodal LLM) xây dựng trên nền Llama-3.1-8B-Instruct. Dự án nhằm mang lại khả năng tương tác bằng giọng nói mượt mà, hỗ trợ nhận lệnh bằng giọng nói và trả lời đồng thời bằng cả văn bản và giọng nói, hướng tới trải nghiệm tương đương cấp với GPT-4o.
✨ Điểm nổi bật
- Xây dựng trên Llama-3.1-8B-Instruct: Đảm bảo chất lượng phản hồi cao.
- Tương tác thấp độ trễ: Độ trễ chỉ còn 226ms.
- Tạo đồng thời văn bản và giọng nói: Trả lời bằng cả hai kênh đầu ra.
- Huấn luyện nhanh chóng: Hoàn thiện trong dưới 3 ngày với 4 GPU.
- Hỗ trợ demo Gradio: Dễ dàng triển khai và trải nghiệm cục bản.
- Hỗ trợ suy diễn địa phương: Cung cấp script và ví dụ rõ ràng.
- Mã nguồn mở Apache-2.0: Dùng cho nghiên cứu học thuật.
💡 Vì sao đáng chú ý
LLaMA-Omni nổi bật bởi khả năng kết hợp xử lý giọng nói và sinh giọng nói trong một mô hình thống nhất, đồng thời tối ưu độ trễ để cung cấp trải nghiệm tương tác tự nhiên. Dự án phù hợp với nghiên cứu phát triển mô hình ngôn ngữ lớn đa phương thức, ứng dụng trợ lý ảo bằng giọng nói và các hệ thống tương tác bằng âm thanh.
#LLMOmni #SpeechLanguageModel #MultimodalLLM #OpenSource #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
✨✨Freeze-Omni: A Smart and Low Latency Speech-to-speech Dialogue Model with Frozen LLM
MooER: Moore-threads Open Omni model for speech-to-speech intERaction. MooER-omni includes a series of end-to-end speech interaction models along with training and inference code, covering but not limited to end-to-end speech interaction, end-to-end speech translation and speech recognition.
[EMNLP 2026 Main] Speaking While Listening: a survey and empirical audit of full-duplex spoken dialogue systems — L0–L3 architectural hierarchy, T×I×R interaction ontology, and a five-state decision machine, with a curated list of models, datasets, and benchmarks.
Langflow is a powerful tool for building and deploying AI-powered agents and workflows.
A free, open source, and extensible speech-to-text application that works completely offline.
为GPT/GLM等LLM大语言模型提供实用化交互接口，特别优化论文阅读/润色/写作体验，模块化设计，支持自定义快捷按钮&函数插件，支持Python和C++等项目剖析&自译解功能，PDF/LaTex论文翻译&总结功能，支持并行问询多种LLM模型，支持chatglm3等本地模型。接入通义千问, deepseekcoder, 讯飞星火, 文心一言, llama2, rwkv, claude2, moss等。