mlx-community/Laguna-S-2.1-oQ2e
Laguna-S-2.1-oQ2e Calibrated 2-bit MLX quantization of poolside/Laguna-S-2.1(https://huggingface.co/poolside/Laguna-S-2.1) (118B total, 8B activated per token), produced with oMLX(https://github.com/jundot/omlx) oQ at level 2 enhanced — 2.70 bits/we...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#2 Repository Của Tháng
#5 Repository Của Tháng
#5 Repository Của Tháng
🍎 Laguna-S-2.1-oQ2e — Phiên bản 2-bit MLX được hiệu chuẩn cho Apple Silicon
Bản quantized 2-bit MLX của Laguna-S-2.1 (118B tổng cộng, 8B kích hoạt mỗi token), chỉ 36GB trên đĩa, chạy trên Mac M5 Max.
Laguna-S-2.1-oQ2e là bản quantized 2-bit MLX được hiệu chuẩn từ mô hình gốc poolside/Laguna-S-2.1 — một mô hình MoE khổng lồ với 118 tỷ tham số tổng cộng nhưng chỉ kích hoạt 8 tỷ tham số cho mỗi token. Sản phẩm bởi công cụ oQ của oMLX ở mức 2 nâng cao, bản quantized này mang lại độ chính xác cao nhờ phân bổ bit dựa trên bản đồ nhạy cảm từ imatrix.
✨ Điểm nổi bật
- 36GB trên đĩa: Giảm đáng kể từ 235GB BF16 gốc
- Kiến trúc MoE phức tạp: 48 tầng, 47 tầng MoE với 256 experts định tuyến + 1 shared
- Bộ nhớ thấp: Chỉ 34.4GB tại context 1k, vừa vặn trên Mac 48GB
- Phân bổ bit thông minh: 8-bit cho mọi tensor ngoại trừ experts, 2-bit dành cho experts
- Tốc độ sinh: 61.5 tok/s tại 1k prompt, duy trì 38.8 tok/s ở 64k
- Hỗ trợ context dài: YaRN mở rộng attention toàn cục lên 1M token
💡 Vì sao đáng chú ý
Điểm đặc biậm của bản quantized này là việc phân bổ bit không cố định — dựa trên sensitivity map từ calibration data. Kết quả: toàn bộ 386 tensor non-expert (attention, embeddings, lm_head...) được nâng lên 8-bit, chỉ riêng experts giữ ở 2-bit. Với chỉ 8B tham số hoạt động mỗi token, dense spine rất nhạy cảm, nên calibration dùng toàn bộ ngân sách bảo vệ phần này. Phù hợp cho người dùng Apple Silicon muốn chạy mô hình 118B mà không cần máy chủ.
#MLX #Quantization #AppleSilicon #MoE #Laguna #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Paper Link👁️ 1. Introduction We present DeepSeek-V3, a strong Mixture-of-Experts (MoE) language model with 671B total parameters with 37B activated for each token. To achieve efficient inference and cost-effective training, DeepSeek-V3 adopts Multi...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...