asigalov61/Orpheus-Music-Transformer
Orpheus Music Transformer SOTA 8k multi-instrumental music transformer trained on 2.31M+ high-quality MIDIs !Orpheus-Music-Transformer-Artwork-1.jpg(https://cdn-uploads.huggingface.co/production/uploads/5f57ea2d3f32f12a3c0692e6/ga9kOTV6mH8nDljTw2OsO...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🎵 Transformer SOTA sinh nhạc đa nhạc cụ từ MIDI với UI Gradio và nhiều biến thể chuyên dụng
Model autoregressive 748M tham số, hỗ trợ sequence tới 8k token, kèm giao diện Gradio và pipeline render MIDI/audio.
Orpheus Music Transformer là model SOTA cho sinh nhạc dài, đa nhạc cụ, được Project Los Angeles phát triển. Model được huấn luyện 3 epoch trên 2.31 triệu MIDI chất lượng cao từ Godzilla dataset, hỗ trợ cả sinh nhạc từ đầu, tiếp tục từ seed MIDI, cũng như inpainting note/drums.
✨ Điểm nổi bật
- Model lớn 748M tham số: autoregressive transformer với RoPE và Flash Attention, sequence tới 8k token để nắm cấu trúc nhạc dài.
- Encoding MIDI compact: 3 token/note và 7 token/tri-chord, thứ tự duration-and-velocity-last để tăng biểu cảm.
- Inference tối ưu CUDA: bfloat16 và sparse-dense products, kèm top-p sampling với temperature điều chỉnh được.
- Giao diện Gradio: upload seed MIDI hoặc sinh từ đầu, điều chỉnh prime/generation token count, temperature, top-p, thêm drums hoặc outro.
- 10 batch song song: mỗi batch có audio preview và piano-roll plot, có thể thêm/xóa batch để tinh chỉnh bản nhạc.
- Render SoundFont: xuất kết quả về MIDI và audio qua pipeline tích hợp SoundFont.
- Nhiều biến thể fine-tune: loops đa nhạc cụ, bridge/infilling, karaoke lyrics template, segmentation, children songs, mono melodies.
- Classifier hỗ trợ: phân biệt nhạc người chơi với nhạc do Orpheus sinh ra.
💡 Vì sao đáng chú ý
Dự án kết hợp hiệu năng model SOTA với tokenization MIDI hiệu quả và thiết kế tập trung người dùng, giúp khám phá sáng tác thuật toán nhanh hơn. Các biến thể fine-tune và notebook inference cho phép áp dụng vào nhiều use-case như loop, bridge, karaoke và phân loại nhạc.
#MusicTransformer #MIDI #GenerativeAI #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
SOTA Google's Perceiver-AR Music Transformer Implementation and Model
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
Kokoro is an open-weight TTS model with 82 million parameters. Despite its lightweight architecture, it delivers comparable quality to larger models while being significantly faster and more cost-efficient. With Apache-licensed weights, Kokoro can be...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators ELECTRA is a new method for self-supervised language representation learning. It can be used to pre-train transformer networks using relatively little compute. ELECTRA mode...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
BERT base model (uncased) Pretrained model on English language using a masked language modeling (MLM) objective. It was introduced in this paper(https://arxiv.org/abs/1810.04805) and first released in this repository(https://github.com/google-resear...
!FLUX.1 schnell Grid(./schnellgrid.jpeg) FLUX.1 schnell is a 12 billion parameter rectified flow transformer capable of generating images from text descriptions. For more information, please read our blog post(https://blackforestlabs.ai/announcing-bl...