muose/Muose-50M-Decision
Muose-50M-Decision Muose-50M-Decision is a 50.76M parameter decision model built on the custom Muose transformer architecture. Architecture - 50,760,960 total parameters - 8 transformer layers - 640 hidden dimension - 10 query attention heads - 2 KV...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🧠 Mô hình quyết định 50M Muose — nhỏ gọn, nhưng tính toán phân phối xác suất
Một mô hình transformer nhỏ (50,76M tham số) thiết kế riêng để đưa ra quyết định dựa trên so sánh tiêu chí với trạng thái và hướng dẫn.
Muose-50M-Decision là một mô hình quyết định thử nghiệm nhỏ được xây dựện trên kiến trúc transformer tùy biến Muose, với tổng cộng 50,760,960 tham số. Mô hình đánh giá từng tiêu chí (ví dụ: giữ lại, xóa bỏ, kiểm duyệt) dựa trên một trạng thái và hướng dẫn người dùng, sau đó biến đổi điểm số thành một phân phối xác suất để hỗ trợ ra quyết định.
✨ Điểm nổi bật
- Kiến trúc Muose tùy biến: 8 tầng transformer, chiều ẩn 640, 10 đầu attention truy vấn, 2 đầu KV, sử dụng Grouped Query Attention, RoPE, RMSNorm, SwiGLU.
- Tokenizer riêng: Byte-Level BPE với từ vựng 24.000 token.
- Đầu ra điểm số quyết định: Scalar decision scoring head đưa ra điểm số cho từng tiêu chí.
- Huấn luyện hai giai đoạn: Pretraining trên FineWeb-Edu (~500 triệu token), fine-tuning quyết định trên BANKING77.
- Kết quả đánh giá tốt: Đạt 96,07% độ chính xác 6-way, 90,08% 20-way, 79,94% 77-way trên BANKING77.
- Mã nguồn mở: Phát hành dưới giấy phép CC BY-NC-SA 4.0, cấm sử dụng thương mại.
💡 Vì sao đáng chú ý
Không giống các mô hình lớn tốn tỷ tham số, Muose-50M-Decision tập trung vào một nhiệm vụ cụ thể: đưa ra quyết định dựa trên so sánh tiêu chí. Điều này giúp mô hình nhẹ, nhanh, dễ triển khai, thích hợp cho các hệ thống cần ra quyết định nhanh trên thiết bị. Tuy nhiên, do chỉ được fine-tuning trên dữ liệu ngân hàng, hiệu suất có thể giảm đáng kể ngoài miền ngữ cảnh ngân hàng.
#Muose #DecisionModel #Transformer #OpenWeights #TiniX
Similar Projects
Discover other similar projects and AI models.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
BERT base model (uncased) Pretrained model on English language using a masked language modeling (MLM) objective. It was introduced in this paper(https://arxiv.org/abs/1810.04805) and first released in this repository(https://github.com/google-resear...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...