MuScriptor/muscriptor-small
MuScriptor — small (≈100M) MuScriptor is an open-weight model for general-purpose, multi-instrument automatic music transcription (AMT): it converts a music recording (any genre, multiple simultaneous instruments) into a stream of notes played. This...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#3 Repository Của Tháng
#3 Repository Của Tháng
#3 Repository Của Ngày
🎵 MuScriptor nhỏ — chuyển âm thanh thành nốt nhạc đa nhạc cụ, chỉ 100M tham số
Mô hình mở để chuyển bản ghi âm thành dãy nốt nhạc, hỗ trợ nhiều nhạc cụ đồng thời.
MuScriptor là một mô hình mở phát triển bởi Mirelo và Kyutai, chuyển đổi bản ghi âm âm nhạc (bất kỳ thể loại nào, nhiều nhạc cụ đồng thời) thành dãy nốt nhạc. Bài đăng này ra mắt phiên bản small (~100M tham số), nhẹ và nhanh, phù hợp cho môi trường tài nguyên thấp.
✨ Điểm nổi bật
- Dựa trên Transformer: dùng kiến trúc decoder-only Transformer đơn giản.
- Đầu vào mel-spectrogram: xử lý waveform 16kHz mono qua STFT để tạo mel-spectrogram.
- Dự đoán tự động: sinh token nốt nhạc theo phong cách MT3, hỗ trợ 36 nhóm nhạc cụ.
- Hỗ trợ 3 phiên bản: small (100M), medium (300M), large (1.3B).
- API Python đơn giản: tải mô hình bằng
TranscriptionModel.load_model("small"). - Xuất MIDI trực tiếp: hỗ trợ trả về file MIDI hoặc stream sự kiện nốt nhạc.
- CLI hỗ trợ: dùng lệnh
muscriptor transcribeđể chuyển đổi nhanh. - Điều kiện nhạc cụ tùy chọn: ổn định dự đoán và cho phép giới hạn nhạc cụ.
💡 Vì sao đáng chú ý
Không dùng kiến trúc phức tạp, MuScriptor tập trung vào Transformer decoder-only đơn giản nhưng hiệu quả. Phù hợp nghiên cứu và ứng dụng chuyển âm thanh thành MIDI, đặc biệt trong môi trường tài nguyên hạn chế nhờ phiên bản small.
#MuScriptor #AMT #MusicTranscription #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
MuScriptor — large (≈1.3B) MuScriptor is an open-weight model for general-purpose, multi-instrument automatic music transcription (AMT): it converts a music recording (any genre, multiple simultaneous instruments) into a stream of notes played. This...
MuScriptor — medium (≈300M) MuScriptor is an open-weight model for general-purpose, multi-instrument automatic music transcription (AMT): it converts a music recording (any genre, multiple simultaneous instruments) into a stream of notes played. Thi...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.
FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...