Abiray/Laguna-S-2.1-IQ4_XS-Q4_K_M-GGUF
Laguna S 2.1 - GGUF Quants (IQ4XS & Q4KM) This repository contains GGUF quantizations for poolside/Laguna-S-2.1(https://huggingface.co/poolside/Laguna-S-2.1), including both IQ4XS and Q4KM variants. - Original Model: poolside/Laguna-S-2.1(https://hu...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#7 Repository Của Tháng
🚀 Laguna S 2.1 - Bản định lượng GGUF (IQ4_XS & Q4_K_M)
Hai biến thể định lượng 4-bit giúp chạy mô hình 118B MoE trên phần cứng tiêu chuẩn.
Đây là kho lưu trữ các bản định lượng GGUF cho mô hình gốc poolside/Laguna-S-2.1, một mô hình ngôn ngữ lớn dạng MoE (Mixture of Experts) với tổng kích thước 118B tham số, trong đó khoảng 8B tham số được kích hoạt cho mỗi token. Mô hình hỗ trợ tốt cho các tác vụ như viết mã và sinh văn bản.
✨ Điểm nổi bật
- Định dạng IQ4_XS: Phương pháp định lượng ma trận quan trọng 4-bit (kích thước nhỏ nhất), tối ưu rất cao cho bộ nhớ thấp với mất mát chất lượng tối thiểu.
- Định dạng Q4_K_M: Định lượng K tiêu chuẩn 4-bit (trung bình), cân bằng hiệu năng, tốc độ và độ chính xác.
- Hỗ trợ llama.cpp: Tương thích với nhánh
lagunacủa llama.cpp từ poolside. - Kiến trúc MoE: Mô hình 118B với ~8B tham số hoạt động cho mỗi token, mang lại hiệu suất mạnh mẽ trong khi tiết kiệm tài nguyên.
- Hỗ trợ thế hệ mã: Được tối ưu cho các tác vụ liên quan đến lập trình và xử lý ngôn ngữ tự nhiên.
💡 Vì sao đáng chú ý
Laguna S 2.1 là một mô hình ngôn ngữ lớn mạnh mẽ với kiến trúc MoE, cho phép xử lý hiệu quả mà không cần tài nguyên quá lớn. Hai biến thể định lượng IQ4_XS và Q4_K_M giúp người dùng dễ dàng chạy mô hình trên phần cứng tiêu chuẩn thông qua llama.cpp, đặc biệt hữu ích cho các ứng dụng như viết mã và sinh nội dung.
#AI #LLM #GGUF #LagunaS2.1 #TiniX
Similar Projects
Discover other similar projects and AI models.
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence Technical Report👁️ Introduction We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language models — DeepSeek-V4-Pro with 1.6T p...