mlx-community/Laguna-S-2.1-oQ2e-fast
Laguna-S-2.1-oQ2e-fast Speed-tuned variant of Laguna-S-2.1-oQ2e(https://huggingface.co/mlx-community/Laguna-S-2.1-oQ2e), the calibrated 2-bit MLX quantization of poolside/Laguna-S-2.1(https://huggingface.co/poolside/Laguna-S-2.1) (118B total, 8B act...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#4 Repository Của Tháng
#4 Repository Của Tháng
🚀 Laguna-S-2.1-oQ2e-fast: Phiên bản tốc độ tăng cho Apple Silicon
Chỉ thay đổi ngân sách bit — nhưng tăng tốc 28% và giảm 35GB so với bản gốc.
Laguna-S-2.1-oQ2e-fast là biến thể speed-tuned của Laguna-S-2.1-oQ2e, một phiên bản quantization 2-bit MLX đã được hiệu chuẩn của poolside/Laguna-S-2.1 — mô hình MoE khổng lồ với 118B tham số tổng cộng, 8B tham số kích hoạt cho mỗi token. Dự án này được chuyển đổi và kiểm tra trên MacBook Pro M5 Max.
✨ Điểm nổi bật
- 35 GB trên đĩa, giảm từ 235 GB BF16 và 36 GB của bản oQ2e gốc
- 48 lớp, 47 trong số đó là MoE với 256 experts định tuyến + 1 shared, top-10 (L0 là dense MLP); attention xen kẽ (12 global với YaRN tới 1M context, 36 sliding-window 512)
- Bộ nhớ đỉm: 33.2 GB ở context 1k, 36.3 GB ở 64k — vừa trên Mac 48GB
- 78.8 tok/s ở context 1k so với 61.5 của oQ2e, với độ chênh lệch không đáng kể trên mmlu_pro
- Chuyển đổi và kiểm tra trên MacBook Pro M5 Max 128GB 40 GPU
- 2.60 bits/trọng số trung bình, sử dụng ngân sách
target_bpw=2.54để tối ưu attention
💡 Vì sao đáng chú ý
Khác với các phương pháp quantization thông thường chỉ giảm độ phân giải đồng đều, dự án này sử dụng kỹ thuật oQ (optimized Quantization) để phân bổ bit một cách thông minh. Thay vì để oQ chi tiêu tự do cho spine dense, tác giả đã giới hạn ngân sách bằng target_bpw=2.54 — kết quả là attention được nén mạnh (3-4 bit) trong khi shared expert, embeddings và lm_head vẫn giữ ở 8 bit. Điều này giảm đáng kể lượng dữ liệu cần đọc cho mỗi token, tăng tốc do đó mà không làm giảm đáng kể chất lượng sinh.
#MLX #Quantization #AppleSilicon #MoE #TextGeneration #TiniX
Similar Projects
Discover other similar projects and AI models.
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Paper Link👁️ 1. Introduction We present DeepSeek-V3, a strong Mixture-of-Experts (MoE) language model with 671B total parameters with 37B activated for each token. To achieve efficient inference and cost-effective training, DeepSeek-V3 adopts Multi...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...