MuScriptor/muscriptor-medium
MuScriptor — medium (≈300M) MuScriptor is an open-weight model for general-purpose, multi-instrument automatic music transcription (AMT): it converts a music recording (any genre, multiple simultaneous instruments) into a stream of notes played. Thi...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Ngày
#1 Repository Của Ngày
#1 Repository Của Ngày
🎵 MuScriptor medium — Mô hình phiên bản ghi âm nhạc thành MIDI đa nhạc cụ mở
Mô hình AMT (Automatic Music Transcription) đa nhạc cụ, mở trọng số, chuyển bản ghi âm thành dãy nốt nhạc.
MuScriptor là mô hình mở trọng số dùng cho chuyển đổi âm nhạc tự động đa nhạc cụ (AMT): chuyển bản ghi âm bất kỳ thể loại nào, nhiều nhạc cụ đồng thời thành dãy nốt nhạc. Bản vừa (≈300M tham số) là mặc định của thư viện muscriptor.
Phiên bản medium cân bằng chất lượng và kích thước. Dùng muscriptor-large (≈1.3B) cho chất lượng tốt nhất, muscriptor-small (≈100M) cho tốc độ lớn nhất.
- Phát triển bởi Mirelo x kyutai
- 📄 Bài báo: MuScriptor: An Open Model for Multi-Instrument Music Transcription
- 💻 Mã nguồn: https://github.com/muscriptor/muscriptor
✨ Điểm nổi bật
- Kiến trúc: Decoder-only Transformer (dim=1024, num_heads=16, num_layers=24)
- Đầu vào: Sóng âm (16 kHz, mono) 5 giây → mel-spectrogram (STFT n_fft=2048, hop 160 → 100 Hz, 512 mel bins)
- Token hóa đầu ra: MT3-like note events, 128 MIDI programs → 36 nhóm nhạc cụ (MT3_FULL_PLUS)
- Greedy decoding mặc định, hỗ trợ classifier-free guidance (CFG)
- Xử lý theo khối 5 giây, phát ra sự kiện theo thứ tự thời gian
- Điều kiện nhạc cụ tùy chọn ổn định dự báo biên giới khối
- Hạn chế: Không hỗ trợ velocity; không thể biểu diễn hai nốt cùng cao độ và nhạc cụ đồng thời; trống chỉ là onset-only
💡 Vì sao đáng chú ý
Không dùng kiến trúc phức tạp, chỉ một decoder Transformer đơn giản. Phù hợp nghiên cứu và ứng dụng AMT đa nhạc cụ tổng quát. Hạn chế rõ rệt về velocity và trùng nốt.
#MuScriptor #AMT #MusicTranscription #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
MuScriptor — large (≈1.3B) MuScriptor is an open-weight model for general-purpose, multi-instrument automatic music transcription (AMT): it converts a music recording (any genre, multiple simultaneous instruments) into a stream of notes played. This...
MuScriptor — small (≈100M) MuScriptor is an open-weight model for general-purpose, multi-instrument automatic music transcription (AMT): it converts a music recording (any genre, multiple simultaneous instruments) into a stream of notes played. This...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.
FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...