poolside/Laguna-S-2.1-NVFP4-mlx
Use on OpenRouter · Use on Vercel AI Gateway · Release blog post Laguna S 2.1-NVFP4 (MLX) MLX-compatible export of poolside/Laguna-S-2.1-NVFP4(https://huggingface.co/poolside/Laguna-S-2.1-NVFP4). For the full model description, usage guidance, conte...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#2 Repository Của Tháng
#2 Repository Của Tháng
#2 Repository Của Tháng
🚀 Laguna S 2.1-NVFP4 (MLX) — Bản xuất tối ưu cho Apple Silicon
Bản xuất MLX-compatible của mô hình ngôn ngữ lớn Laguna S 2.1-NVFP4 với định dạng nén 4-bit NVFP4, thiết kế riêng cho phần cứng Apple Silicon (chip M-series).
Đây là phiên bản được nén lượng tử hóa (quantized) của poolside/Laguna-S-2.1-NVFP4, được chuyển đổi sang định dạng MLX — framework học sâu của Apple chạy hiệu quả trên MAC M-series. Mô hình kế thừa toàn bộ khả năng của bản gốc nhưng giảm đáng kể dung lượng và tiêu thụ bộ nhớ, phù hợp triển khai trên thiết bị cá nhân.
✨ Điểm nổi bật
- 4-bit NVFP4 quantization: Nén mô hình xuống 4-bit, giảm dung lượng và tăng tốc suy diễn.
- MLX-compatible: Hỗ trợ chạy trực tiếp trên framework MLX của Apple, tối ưu cho chip M-series.
- Base model: poolside/Laguna-S-2.1: Kế thừa kiến trúc và hiệu suất từ mô hình gốc cấp độ doanh nghiệp.
- base_model_relation: quantized: Lượng tử hóa để cân bằng tốc độ và độ chính xác.
- License: OpenMDW-1.1: Giấp phép nguồn mở cho phép sử dụng và phát phối linh hoạt.
- Triển khai trên OpenRouter & Vercel AI Gateway: Hỗ trợ triển khai qua các nền tảng đám mây.
💡 Vì sao đáng chú ý
Laguna S 2.1-NVFP4 (MLX) không chỉ mang lại hiệu năng cao mà còn giúp người dùng dễ dàng triển khai trên thiết bị cá nhân nhờ hỗ trợ framework MLX của Apple. Với việc nén 4-bit NVFP4, mô hình giảm đáng kể chi phí bộ nhớ mà vẫn duy trì độ chính xác cao, rất thích hợp cho các nhà phát triển muốn chạy LLM trên MAC M-series mà không cần phụ thuộc vào GPU đắt đỏ.
#AI #MLX #AppleSilicon #Quantization #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
Use on OpenRouter · Use on Vercel AI Gateway · Release blog post Laguna S 2.1-NVFP4 Laguna S 2.1-NVFP4 is a 117.6B total parameter Mixture-of-Experts model with 8.5B activated parameters per token designed for agentic coding and long-horizon work on...
Use on OpenRouter · Use on Vercel AI Gateway · Release blog post Laguna S 2.1-FP8 Laguna S 2.1-FP8 is a 117.6B total parameter Mixture-of-Experts model with 8.5B activated parameters per token designed for agentic coding and long-horizon work on a l...
Use on OpenRouter · Use on Vercel AI Gateway · Release blog post Laguna S 2.1-INT4 Laguna S 2.1-INT4 is a 117.6B total parameter Mixture-of-Experts model with 8.5B activated parameters per token designed for agentic coding and long-horizon work on a...
Running Unsloth's UD-Q4KXL with llama.cpp (PR 25165) The GGUFs in this repo are Unsloth Dynamic 2.0(https://docs.unsloth.ai/basics/unsloth-dynamic-2.0-ggufs) quants (imatrix calibrated). Laguna support is not in a tagged llama.cpp release yet, so bu...
Laguna-S-2.1 — APEX GGUF (with DFlash speculative decoding) MoE-aware, mixed-precision APEX quantization of poolside/Laguna-S-2.1(https://huggingface.co/poolside/Laguna-S-2.1) — a 118B-total / ~8B-active open-weight agentic coding MoE (48 layers, 25...
Laguna S 2.1 118B Chadrock ROCmFP4 StrixKVSpine V4 — Runtime V2 An AMD-optimized, quality-protected ROCmFP4 quant of Poolside Laguna S 2.1(https://huggingface.co/poolside/Laguna-S-2.1), built for local agentic coding on Ryzen AI Max+ 395 / Radeon 80...
huihui-ai/Huihui-Laguna-S-2.1-abliterated-GGUF This is an uncensored version of poolside/Laguna-S-2.1(https://huggingface.co/poolside/Laguna-S-2.1) created with abliteration (see remove-refusals-with-transformers(https://github.com/Sumandora/remove-...
Laguna-S-2.1-oQ2e-fast Speed-tuned variant of Laguna-S-2.1-oQ2e(https://huggingface.co/mlx-community/Laguna-S-2.1-oQ2e), the calibrated 2-bit MLX quantization of poolside/Laguna-S-2.1(https://huggingface.co/poolside/Laguna-S-2.1) (118B total, 8B act...
Laguna S 2.1 - GGUF Quants (IQ4XS & Q4KM) This repository contains GGUF quantizations for poolside/Laguna-S-2.1(https://huggingface.co/poolside/Laguna-S-2.1), including both IQ4XS and Q4KM variants. - Original Model: poolside/Laguna-S-2.1(https://hu...