unsloth/Laguna-S-2.1-GGUF
Running Unsloth's UD-Q4KXL with llama.cpp (PR 25165) The GGUFs in this repo are Unsloth Dynamic 2.0(https://docs.unsloth.ai/basics/unsloth-dynamic-2.0-ggufs) quants (imatrix calibrated). Laguna support is not in a tagged llama.cpp release yet, so bu...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#2 Repository Của Tháng
🚀 Laguna S 2.1 GGUF — Bản định lượng chạy trên llama.cpp
GGUF bản động 2.0 từ Unsloth, lịch tính imatrix, hỗ trợ Laguna S 2.1 trên llama.cpp.
Đây là bản định lượng GGUF của mô hình Laguna S 2.1 — một mô hình Mixture-of-Experts (MoE) 118B tổng tham số, kích hoạt 8B/tham số cho mỗi token — do Unsloth tạo ra. Bản định lượng sử dụng công nghệ UD-Q4_K_XL (Unsloth Dynamic 2.0) với lịch tính imatrix, giúp giảm kích thước mô hình nhưng vẫn duy trì chất lượng sinh. Do hỗ trợ Laguna chưa có trong bản phát hành ổn định của llama.cpp, cần xây dựng từ nguồn theo PR #25165.
✨ Điểm nổi bật
- UD-Q4_K_XL: Kỹ thuật định lượng động 2.0 từ Unsloth với lịch tính imatrix
- Laguna S 2.1: Mô hình MoE 118B tổng, 8B kích hoạt/token, thiết kế cho coding độc lập
- llama.cpp tùbiến: Cần build từ PR #25165 vì hỗ trợ Laguna chưa ổn định
- Hỗ trợ CUDA: Build có thể bật/tắt hỗ trợ GPU
- Shard ~40GB: Chia thành 3 tệp, tải về qua Hugging Face CLI
- llama-server & llama-cli: Hỗ trợ phục vụ API hoặc chạy sinh đơn lẻ
- GPU yêu cầu: Phù hợp 48GB+ VRAM hoặc chạy đa GPU
💡 Vì sao đáng chú ý
Bản định lượng này mang công nghệ định lượng động 2.0 của Unsloth — một cải tiến quan trọng so với các phương pháp định lượng truyền thống, giúp cân bằng giữa kích thước và hiệu suất. Kết hợp với kiến trúc MoE của Laguna S 2.1, người dùng có thể triển khai mô hình hiệu suất cao trên llama.cpp mà không cần phụ thuộc vào vLLM hay Transformers.
#AI #LLM #GGUF #Unsloth #Laguna #MoE #llama.cpp #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence Technical Report👁️ Introduction We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language models — DeepSeek-V4-Pro with 1.6T p...