nbeerbower/Laguna-S-2.1-colibri-int4
Laguna-S-2.1 — colibri int4 An int4 conversion of poolside/Laguna-S-2.1(https://huggingface.co/poolside/Laguna-S-2.1) (118B total / 8B active MoE, coding) into the colibri container format, for the laguna.c standalone CPU/CUDA inference engine (part...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#3 Repository Của Tuần
#4 Repository Của Tuần
🚀 Laguna-S-2.1 — phiên bản int4 nén siêu nhẹ, chạy trực tiếp trên RAM
Phiên bản nén int4 của mô hình MoE coding 118B, chỉ chiếm ~63 GB thay vì 235 GB.
Đây là bản chuyển đổi từ poolside/Laguna-S-2.1 — một mô hình MoE dành cho lập trình viết mã (118 tỷ tham số tổng cộng, 8 tỷ tham số hoạt động) — sang định dạng contêainer colibri, tối ưu cho engine suy diễn laguna.c, hỗ trợ cả CPU và CUDA. Phần mềm này là một phần của nhánh sabrewing dựa trên colibrì.
✨ Điểm nổi bật
- Lưu trữ int4: Hơn 95% trọng số các expert được lưu dưới dạng int4 nén, dùng tỷ lệ đối xứng từng hàng (
.qs, f32), đóng gói nibble cao/thấp. - Cấu trúc gộp khối: Các phép chiếu gate + up được nối liền thành khối
experts.gate_up_proj[E·2I, D/2], down riêng biệtexperts.down_proj[E·D, I/2]. - Resident giữ nguyên bf16: Các thành phần như attention (q/k/v/o), norm, embedding, lm_head được giữ ở bf16; chỉ norm, trọng số router và
e_score_correction_biasở f32. - Dung lượng nhỏ gọn: Tổng dung lượng chỉ ~63 GB (so với 235 GB ở bf16), cho phép toàn mô hình tải trực tiếp vào RAM trên máy 128 GB+.
- Độ chính xác cao: Quá trình fuse+pack là chính xác từng bit so với vòng quay int4; engine C đọc contêainer chỉ với lỗ số quantization nhỏ.
- License mở: Thuộc bản quyền của Poolside, được cấp phép theo OpenMDW-1.1.
💡 Vì sao đáng chú ý
Việc nén mô hình xuống int4 giúp giảm đáng kể bớc nhớ và tăng tốc suy diễn mà không cần streaming từ đĩa — toàn bộ mô hình có thể nằm trọn trong RAM. Điều này rất hữu ích khi triển khai môi trường có tài nguyên hạn chế nhưng vẫn cần hiệu suất cao.
#Laguna #MoE #Int4 #Colibri #CodeGeneration #TiniX
Similar Projects
Discover other similar projects and AI models.
Use on OpenRouter · Use on Vercel AI Gateway · Release blog post Laguna S 2.1-NVFP4 (MLX) MLX-compatible export of poolside/Laguna-S-2.1-NVFP4(https://huggingface.co/poolside/Laguna-S-2.1-NVFP4). For the full model description, usage guidance, conte...
Use on OpenRouter · Use on Vercel AI Gateway · Release blog post Laguna-S-2.1-DFlash DFlash speculator (draft model) for Laguna S 2.1(https://huggingface.co/poolside/Laguna-S-2.1), bf16. - Architecture: DFlashLagunaForCausalLM (6 sliding-attention l...
Use on OpenRouter · Use on Vercel AI Gateway · Release blog post Laguna S 2.1-NVFP4 Laguna S 2.1-NVFP4 is a 117.6B total parameter Mixture-of-Experts model with 8.5B activated parameters per token designed for agentic coding and long-horizon work on...
Laguna-S-2.1 — APEX GGUF (with DFlash speculative decoding) MoE-aware, mixed-precision APEX quantization of poolside/Laguna-S-2.1(https://huggingface.co/poolside/Laguna-S-2.1) — a 118B-total / ~8B-active open-weight agentic coding MoE (48 layers, 25...
Use on OpenRouter · Use on Vercel AI Gateway · Release blog post Laguna S 2.1-FP8 Laguna S 2.1-FP8 is a 117.6B total parameter Mixture-of-Experts model with 8.5B activated parameters per token designed for agentic coding and long-horizon work on a l...
Use on OpenRouter · Use on Vercel AI Gateway · Release blog post Laguna S 2.1-INT4 Laguna S 2.1-INT4 is a 117.6B total parameter Mixture-of-Experts model with 8.5B activated parameters per token designed for agentic coding and long-horizon work on a...
Laguna-S-2.1-oQ2e-fast Speed-tuned variant of Laguna-S-2.1-oQ2e(https://huggingface.co/mlx-community/Laguna-S-2.1-oQ2e), the calibrated 2-bit MLX quantization of poolside/Laguna-S-2.1(https://huggingface.co/poolside/Laguna-S-2.1) (118B total, 8B act...
Laguna-S-2.1-oQ2e Calibrated 2-bit MLX quantization of poolside/Laguna-S-2.1(https://huggingface.co/poolside/Laguna-S-2.1) (118B total, 8B activated per token), produced with oMLX(https://github.com/jundot/omlx) oQ at level 2 enhanced — 2.70 bits/we...
Use on OpenRouter · Use on Vercel AI Gateway · Release blog post Laguna S 2.1 Laguna S 2.1 is a 118B total parameter Mixture-of-Experts model with 8B activated parameters per token, designed for agentic coding and long-horizon work. It sits between...