pyannote/speaker-diarization-3.1
Using this open-source model in production? Consider switching to pyannoteAI(https://www.pyannote.ai) for better and faster options. 🎹 Speaker diarization 3.1 This pipeline is the same as pyannote/speaker-diarization-3.0(https://hf.co/pyannote/speak...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tháng
#1 Repository Của Tuần
🎙️ Speaker diarization 3.1 — Phiên bản PyTorch thuần túy
Bỏ ONNX, chạy toàn bộ bằng PyTorch — dễ triển khai, nhanh hơn trên nhiều môi trường.
Đây là phiên bản cập nhật từ pyannote/speaker-diarization-3.0, loại bỏ sự phụ thuộc vào onnxruntime để tránh các vấn đề tương thích đã từng gây ra. Cả bước phân đoạn (speaker segmentation) và trích xuất đặc trưng (embedding) giờ đây chạy hoàn toàn trên PyTorch. Pipeline này yêu cầu phiên bản pyannote.audio 3.1 trở lên và được thiết kế để xử lý âm thanh ghi âm một kênh (mono) với tần số mẫu 16kHz.
✨ Điểm nổi bật
- Chạy bằng PyTorch thuần túy: Không còn phụ thuộc
onnxruntime, giảm độ phứ tạp triển khai. - Tự động chuẩn hóa âm thanh: Hỗ trợ downmix từ âm thanh stereo hoặc đa kênh và tự động resampling về 16kHz.
- Hỗ trợ GPU: Dễ dàng chuyển sang CUDA để tăng tốc inference.
- Đầu ra dưới dạng Annotation: Kết quả trả về dưới dạng đối tượng
Annotationcủapyannote-core, dễ tích hợp. - Ghi ra định dạng RTTM: Hỗ trợ xuất kết quả ra file
.rttmđể đánh giá hoặc tích hợp hệ thống khác. - Kiểm soát số lượng diễn giả: Có thể chỉ định trước số lượng (
num_speakers), hoặc giới hạn dưới (min_speakers) và trên (max_speakers). - Theo dõi tiến trình: Cung cấp
ProgressHookđể giám sát quá trình xử lý theo thời gian thực. - Benchmark toàn diện: Được đánh giá trên nhiều bộ dữ liệu lớn với cài đặt DER khắt khe nhất.
💡 Vì sao đáng chú ý
Phiên bản 3.1 khắc phục một số hạn chế kỹ thuật từ phiên bản trước bằng cách loại bỏ ONNX Runtime — một bước quan trọng giúp pipeline hoạt động ổn định hơn trên các môi trường triển khai đa dạng. Ngoài ra, khả năng tự động xử lý âm thanh đa kênh và tần số mẫu khác nhau giúp giảm thiểu công sức chuẩn bị dữ liệu. Đây là lựa chọn lý tưởng cho ứng dụng thực tế như hội thảo, cuộc họp hoặc podcast nơi cần xác định ai đang nói trong thời gian thực hoặc qua file ghi âm.
#SpeakerDiarization #PyTorch #OpenSource #AI #TiniX
Similar Projects
Discover other similar projects and AI models.
community-1 speaker diarization This pipeline ingests mono audio sampled at 16kHz and outputs speaker diarization. - stereo or multi-channel audio files are automatically downmixed to mono by averaging the channels. - audio files sampled at a differ...
Using this open-source model in production? Consider switching to pyannoteAI(https://www.pyannote.ai) for better and faster options. 🎹 Speaker diarization Relies on pyannote.audio 2.1.1: see installation instructions(https://github.com/pyannote/pyan...
Using this open-source model in production? Consider switching to pyannoteAI(https://www.pyannote.ai) for better and faster options. 🎹 "Powerset" speaker segmentation This model ingests 10 seconds of mono audio sampled at 16kHz and outputs speaker d...
Using this open-source model in production? Consider switching to pyannoteAI(https://www.pyannote.ai) for better and faster options. 🎹 Speaker diarization 3.0 This pipeline has been trained by Séverin Baroudi with pyannote.audio(https://github.com/p...
Using this open-source model in production? Consider switching to pyannoteAI(https://www.pyannote.ai) for better and faster options. 🎹 Speaker segmentation Paper(http://arxiv.org/abs/2104.04045) | Demo(https://huggingface.co/spaces/pyannote/pretrain...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Fine-tuned XLSR-53 large model for speech recognition in Japanese Fine-tuned facebook/wav2vec2-large-xlsr-53(https://huggingface.co/facebook/wav2vec2-large-xlsr-53) on Japanese using the train and validation splits of Common Voice 6.1(https://huggin...
🦜 Parakeet TDT 0.6B V2 (En) img { display: inline; } !Model architecture(https://img.shields.io/badge/ModelArch-FastConformer--TDT-bluemodel-badge)(model-architecture) | !Model size(https://img.shields.io/badge/Params-0.6B-greenmodel-badge)(model-a...