poolside/Laguna-S-2.1-INT4
Use on OpenRouter · Use on Vercel AI Gateway · Release blog post Laguna S 2.1-INT4 Laguna S 2.1-INT4 is a 117.6B total parameter Mixture-of-Experts model with 8.5B activated parameters per token designed for agentic coding and long-horizon work on a...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#2 Repository Của Tháng
🚀 Laguna S 2.1-INT4: Mô hình MoE 117.6B siêu nhẹ cho mã hóa tác nhân
Mô hình Mixture-of-Experts 117.6B với 8.5B tham số/kíp, inference nhanh nhờ Sliding Window Attention và KV cache FP8.
Laguna S 2.1-INT4 là bản quantized INT4 của Laguna S 2.1, mô hình Mixture-of-Experts trọng lượng lớn được thiết kế cho mã hóa tác nhân và công việc dài hạn trên máy cá nhân. Với 48 lớp, 256 chuyên gia + 1 chuyên gia chung, cửa sổ ngữ cảnh 262K token, mô hình này kết hợp Attention và Global Attention theo tỉ lệ 3:1.
✨ Điểm nổi bật
- Mixed SWA & Global Attention: 36/48 lớp dùng Sliding Window Attention, 12 lớp dùng global attention, tỷ lệ 3:1
- KV cache FP8: Giảm bộ nhớ lưu trữ KV cache xuống FP8
- Native reasoning: Hỗ trợ suy luận xen kẽ giữa các lời gọi công cụ, bật/tắt reasoning theo yêu cầu
- Local-ready ~72GB: Trọng lượng INT4 khoảng 72GB, hỗ trợ Ollama và llama.cpp
- OpenMDW-1.1: Giấy phép cho phép sử dụng thương mại và không thương mại
- Context 262K: Cửa sổ ngữ cảnh 262,144 token
- 1M native checkpoints: Đã huấn luyện lên 1M token, quantization hiệu quả ở cấu hình này
💡 Vì sao đáng chú ý
Laguna S 2.1-INT4 nổi bật nhờ kiến trúc Mixture-of-Experts tiết kiệm compute đáng kể so với dense models lớn. Kết hợp Sliding Window Attention giảm chi phí tính toán attention, phù hợp cho inference trên máy cá nhân. Mô hình đạt kết quả cao trên các bài kiểm tra mã hóa như Terminal-Bench 2.1 (70.2%), SWE-bench Multilingual (78.5%).
#LagunaS2.1 #MixtureOfExperts #TextGeneration #INT4 #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Paper Link👁️ 1. Introduction We present DeepSeek-V3, a strong Mixture-of-Experts (MoE) language model with 671B total parameters with 37B activated for each token. To achieve efficient inference and cost-effective training, DeepSeek-V3 adopts Multi...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...