nineninesix/tyger

🎯 TYGER: Mô hình quyết định giọn nói thông minh cho agent full-duplex

TYGER là mô hình giữa việc nghe và nói trong agent giọng nói thời gian thực.

TYGER là một mô hình quyết định giọn nói mở trọng lượng (open-weight), được thiết kế cho các agent giọng nói hoạt động full-duplex thời gian thực. Nó không chỉ chuyển đổi giọn nói thành văn bản mà còn quyết định thời điểm thích hợp để trả lời, tiếp tục lắng nghe, nhường bộ hoặc đưa ra các phản hồi ngắn như "mm-hm". Dự án này do NineNineSix phát triển và là nền tảng cho tyger-s2s — một voice agent mã nguồn mở chạy trong trình duyệt.

✨ Điểm nổi bật

• Mô hình quyết định full-duplex: Biết khi nào nên trả lời, khi nào nên lắng nghe, khi nào nên nhường bộ và khi nào nên đưa ra phản hồi ngắn.
• Dựa trên Nemotron 3.5 ASR: Sử dụng mô hình nhận dạng giọn nói của NVIDIA (Nemotron 3.5 ASR Streaming 0.6B) không thay đổi như phần giải mã và tokenizer.
• Kiến trúc GRU causal: Lớp turn-taker sử dụng GRU causal 3 tầng, độ rộng 768 để xử lý luồng thời gian.
• Streaming thời gian thực: Xử lý với bước nh salt 320 ms, tái mã hóa cửa sổ âm thanh 8 giây tại mỗi bước.
• Đầu ra đa dạng: Bao gồm trạng thái lượt nói (lắng nghe, giữ nguyên, nói, phản hồi ngắn) cùng điểm số hazard, barge-in, backchannel và endpoint.
• Tốc độ cao: GRU chỉ tốn 0.805 ms cho mỗi khung, phù hợp cho ứng dụng thời gian thực.
• Hỗ trợ barge-in và backchannel: Phát hiện khi người dùng cắt giữa lúc agent đang nói và quyết định thời điểm đưa ra phản hồi ngắn phù hợp.
• Đánh giá chi tiết: Cung cấp số liệu ROC-AUC, AP, độ trễ và tỷ lệ phản hồi trên nhiều bộ dữ liệu khác nhau.

💡 Vì sao đáng chú ý

TYGER khác biệt từ các mô hình ASR truyền thống ở chỗ nó không chỉ chuyển đổi giọn nói thành văn bản mà còn đóng vai trò như một "não" quyết định cho agent giọng nói full-duplex. Nó tích hợp cả nhận dạng giọn nói và ra quyết định lượt nói trong một mô hình duy nhất, giúp giảm độ trễ và cải thiện trải nghiệm tự nhiên trong tương tác giọng nói.

Với khả năng hỗ trợ streaming thời gian thực và các tính năng như barge-in, endpoint detection và backchannel, TYGER rất phù hợp cho các ứng dụng như trợ lý ảo, hệ thống gọi điện thoại thông minh, hoặc bất kỳ nền tảng nào cần tương tác giọng nói tự nhiên và phản hồi nhanh. Đặc biệt, mô hình chỉ với 652M tham số (trong đó 638M là Nemotron và 14M là GRU) và tiêu thụ khoảng 2.61 GB bộ nhớ, TYGER dễ dàng triển khai và tích hợp vào các dự án hiện có.

#SpeechRecognition #FullDuplex #OpenSource #AI #TiniX