Music-and-Culture-Technology-Lab/omnizart

🎵 Omnizart — Thư viện chuyển đổi nhạc tự động toàn diện

"Omniscient Mozart" — transcribe mọi thứ trong âm nhạc.

Omnizart là thư viện Python từ Music and Culture Technology Lab, hướng tới dân chủ hóa việc chuyển đổi âm nhạc tự động. Nhận đầu vào là nhạc polyphonic, nó xuất ra bản ghi chú cho nhạc cụ có giai điệu, giai điệu giọng hát, tiến trình hợp âm, sự kiện trống và vị trí beat. Được công bố trên Journal of Open Source Software (JOSS), dự án này đóng gói các kết quả nghiên cứu của MCT Lab thành một công cụ thực tế.

✨ Điểm nổi bật

• Đa nhiệm transcription: Hỗ trợ 6 ứng dụng — music, drum, vocal, vocal-contour, chord, beat — trong cùng một thư viện.
• Music transcription: Chuyển đổi nốt nhạc của các nhạc cụ có giai điệu từ audio polyphonic.
• Drum transcription: Nhận diện sự kiện của các nhạc cụ gõ.
• Vocal transcription: Ghi chú giai điệu giọng hát ở cấp note; vocal-contour cung cấp F0 ở cấp frame.
• Chord & Beat: Trích xuất tiến trình hợp âm và vị trí beat.
• Cài đặt đơn giản: pip install omnizart + omnizart download-checkpoints là đủ để bắt đầu.
• Colab & Docker: Chạy ngay trên Colab hoặc kéo image Docker mctlab/omnizart.
• Đóng gói nghiên cứu: Paper đã qua bình duyệt đăng trên JOSS, có DOI rõ ràng.

💡 Vì sao đáng chú ý

Omnizart gom hầu hết các tác vụ transcription phổ biến vào một API thống nhất, thay vì phải dùng nhiều công cụ riêng lẻ cho drum, chord, hay vocal. CLI omnizart <app> transcribe <audio> giúp người dùng nhanh chóng có kết quả mà không cần hiểu sâu về mô hình bên dưới. Checkpoint được cung cấp sẵn giúp drum transcription hoạt động ngay, dù training from scratch vẫn còn bug.

Dự án phù hợp cho nghiên cứu Music Information Retrieval, ứng dụng phân tích nhạc tự động, hoặc building block cho pipeline tạo nội dung âm nhạc. Tuy nhiên, chưa hỗ trợ ARM-based MacOS do phụ thuộc底层.

#MusicTranscription #MIR #OpenSource #Python #TiniX