MuScriptor/muscriptor-large
MuScriptor — large (≈1.3B) MuScriptor is an open-weight model for general-purpose, multi-instrument automatic music transcription (AMT): it converts a music recording (any genre, multiple simultaneous instruments) into a stream of notes played. This...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🎵 MuScriptor large — Mô hình phiệụ chiến âm nhạc sang MIDI đa nhạc cụ
Mô hình Transformer decoder-only trọng lượng mở (≈1.3B tham số) chuyển âm thanh ghi âm thành dãy nốt nhạc MIDI tự động.
MuScriptor là một mô hình trọng lượng mở (open-weight) cho chuyển đổi âm nhạc tự động đa nhạc cụ (AMT): nó chuyển đổi một bản ghi âm nhạc (bất kỳ thể loại nào, nhiều nhạc cụ đồng thời) thành một dòng các nốt được chơi. Kho lưu trữ này chứa phiên bản large (≈1.3B tham số) — bản điểm kiểm tra chất lượng tốt nhất.
Dự án phát triển bởi Mirelo hợp tác với Kyutai, có bài báo khoa học MuScriptor: An Open Model for Multi-Instrument Music Transcription và mã nguồn mở tại GitHub.
✨ Điểm nổi bật
- Kiến trúc Transformer: decoder-only Transformer với
dim=1536,num_heads=24,num_layers=48. - Chuyển đổi tự động (AMT): chuyển âm thanh thành nốt nhạc MIDI tự động, hỗ trợ nhiều nhạc cụ đồng thời.
- Dựa trên MT3: dự đoán tuần tự token MIDI tương tự, áp dụng tokenizer MT3-like với 36 nhóm nhạc cụ từ 128 chương trình MIDI.
- Hỗ trợ điều kiện nhạc cụ: ổn định dự đoán giữa các biên giới đoạn và cho phép giới hạn tùy chỉnh bản ghi âm.
- Hỗ trợ đa định dạng âm thanh: WAV, MP3, FLAC, OGG, M4A… được chuẩn hóa về 16 kHz mono nội bộ.
- Cài đặt dễ dàng: cài qua pip từ GitHub, tải trọng số tự động qua Hugging Face cache.
- Giao diện đa dạng: hỗ trợ Python API và CLI để xuất file MIDI hoặc stream sự kiện nốt nhạc.
- Ba cỡ mô hình: small (≈100M), medium (≈300M), large (≈1.3B) để lựa chọn theo nhu cầu.
💡 Vì sao đáng chú ý
Không dùng kiến trúc phức tạp, MuScriptor chọn Transformer decoder-only đơn giản nhưng hiệu quả. Phù hợp nghiên cứu âm nhạc, chuyển đổi bản ghi âm thành bản nhạc điện tử, hỗ trợ công cụ nhạc số và AI nhạc cụ.
#MuScriptor #AMT #MusicTranscription #Transformer #OpenSource #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
MuScriptor — medium (≈300M) MuScriptor is an open-weight model for general-purpose, multi-instrument automatic music transcription (AMT): it converts a music recording (any genre, multiple simultaneous instruments) into a stream of notes played. Thi...
MuScriptor — small (≈100M) MuScriptor is an open-weight model for general-purpose, multi-instrument automatic music transcription (AMT): it converts a music recording (any genre, multiple simultaneous instruments) into a stream of notes played. This...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.
FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...