MM-Speech/DuplexSurvey
[EMNLP 2026 Main] Speaking While Listening: a survey and empirical audit of full-duplex spoken dialogue systems — L0–L3 architectural hierarchy, T×I×R interaction ontology, and a five-state decision machine, with a curated list of models, datasets, and benchmarks.
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
📢 Speaking While Listening: Bản khảo sát toàn diện về hệ thống đối thoại nói bán phản xạ đầy đủ
Ba khung phân tích: Hệ thống kiến trúc L0-L3, Chất lượng tương tác T×I×R, và Cơ chế quyết định trạng thái đầy đủ.
Dự án DuplexSurvey là kho lưu trữ chính thức cho bài báo cáo "Speaking While Listening: A Survey and Empirical Audit of Full-Duplex Spoken Dialogue Systems", được chấp nhận tại EMNLP 2026 Main Conference. Nghiên cứu do nhóm MM-Speech thực hiện, với sự tham gia của các nhà nghiên cứu từ Zhejiang University, Alibaba, Tencent và ByteDance.
✨ Điểm nổi bật
- Hệ thức L0-L3: Phân loại quyết định bán phản xạ từ bộ điều khiển bên ngoài đến biểu diễn tiềm ẩn chung.
- Chất lượng tương tác T×I×R: Phân tích mối quan hệ thời gian, ý định người dùng và phản hồi hệ thống.
- Cơ chế quyết định trạng thái: Mô tả hành vi từng khoảnh khắc qua các trạng thái Idle, Listen, Speak, Wait, Dual.
- Lịch sử phát triển: Trình bày tiến trình từ hệ thống truyền thống đến mô hình ngôn ngữ lớn thời gian thực.
- Kiểm chứng đa hệ thống: So sánh và đánh giá các mô hình công khai hiện có.
- Tài nguyên mở: Tổng hợp mô hình, bộ dữ liệu và bộ chuẩn bán phản xạ công khai.
💡 Vì sao đáng chú ý
Với hơn một thập kỷ phát triển, nhiều hệ thống đối thoại nói tự động tuyên bố hỗ trợ "bán phản xạ đầy đủ", nhưng cách dùng thuật ngữ này khác nhau đáng kể. Dự án cung cấp ba khung lý thuyết mang tính cấu trúc để biến câu hỏi "liệu hệ thống này thực sự là bán phản xạ hay không?" thành một hồ sơ cụ thể: xác định ô tương tác nào được hỗ trợ, trạng thái nào khả thi, và quyết định được đưa ra ở đâu trong ngăn xếp mô hình.
#FullDuplex #SpokenDialog #EMNLP2026 #Survey #TiniX
Similar Projects
Discover other similar projects and AI models.
TYGER TYGER - An open-weight speech decision model for real-time, full-duplex voice agents. It knows when to respond, keep listening, yield, and backchannel. Example Use it tyger-s2s(https://github.com/nineninesix-ai/tyger-s2s) is our open-source vo...
A one stop repository for generative AI research updates, interview resources, notebooks and much more!
A curated list of practical guide resources of LLMs (LLMs Tree, Examples, Papers)
The paper list of the 86-page SCIS cover paper "The Rise and Potential of Large Language Model Based Agents: A Survey" by Zhiheng Xi et al.
LLaMA-Omni is a low-latency and high-quality end-to-end speech interaction model built upon Llama-3.1-8B-Instruct, aiming to achieve speech capabilities at the GPT-4o level.
Note: For full-duplex (real-time) inference, use the 8-bit variant(https://huggingface.co/aufklarer/PersonaPlex-7B-MLX-8bit) instead. 4-bit quantization degrades PersonaPlex response quality significantly — INT8 is both 30% faster (112ms vs 158ms/st...
Dataset Card for Basis Conversations 1500 Listen first: sample conversations Overview Basis Conversations 1500 is a multi-party, multilingual, full duplex conversational speech dataset. Each conversation includes up to 4 simultaneous speakers, each with channel-separated, 48 kHz audio. The median conversation lasts 33 minutes and 2,645 unique speakers are represented. Multi-party: a conversation seats between two and four people at a time; participants come… See the full description on the dataset page: https://huggingface.co/datasets/basis-ai/basis-conversations-1500.
PersonaPlex on Apple Silicon: an MLX port of NVIDIA’s full-duplex speech-to-speech model with realtime local/web modes and offline WAV inference.
Dataset Card for otoSpeech-full-duplex-turn-104h Contact Website: https://oto.earthEmail: agent@oto.earth Dataset Summary otoSpeech-full-duplex-turn-104h is an English, full-duplex conversational speech dataset for research on turn-taking and related spoken-dialogue phenomena. It contains 420 two-speaker conversations totaling approximately 104.94 hours. Each conversation includes time-aligned, channel-separated audio, a stereo combined recording… See the full description on the dataset page: https://huggingface.co/datasets/otoearth/otoSpeech-full-duplex-turn-104h.