unsloth/Laguna-S-2.1
Use on OpenRouter · Use on Vercel AI Gateway · Release blog post Laguna S 2.1 Laguna S 2.1 is a 118B total parameter Mixture-of-Experts model with 8B activated parameters per token, designed for agentic coding and long-horizon work. It sits between...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#4 Repository Của Tháng
#6 Repository Của Tháng
🚀 Laguna S 2.1: Mô hình MoE 118B tối ưu cho coding agentic
Mô hình Mixture-of-Experts 118B với 8B tham số kích hoạt mỗi token, thiết kế riêng cho công việc agentic và dài hạn.
Laguna S 2.1 là một mô hình Mixture-of-Experts với tổng 118 tỷ tham số, trong đó 8 tỷ tham số được kích hoạt cho mỗi token. Đây là mô hình nằm giữa Laguna XS 2.1 (33B-A3B) và Laguna M.1 (225B-A23B) trong serie Laguna, được thiết kế đặc biệt cho lập trình agentic và công việc dài hạn.
✨ Điểm nổi bật
- Kiến trúc MoE: 256 chuyên gia định tuyến (top-10) cộng với 1 chuyên gia chung, sử dụng bộ định tuyến lựa chọn token với cổng softplus
- Cửa sổ ngữ cảnh 1M: Hỗ trợ xử lý ngữ cảnh lên đến 1.048.576 token
- Tích hợp reasoning tự nhiên: Hỗ trợ suy nghĩ xen kẽ giữa các lệnh gọi công cụ, điều khiển qua tham số
enable_thinking - Hỗ trợ speculative decoding: Đã có mô hình phát thảo DFlash để giảm độ trễ khi phục vụ
- Các phiên bản đã tối ưu: Hỗ trợ FP8, NVFP4, INT4 và GGUF
- Giấy phép thương mại mở: Sử dụng và sửa đổi tự do dưới giấy phép OpenMDW-1.1
💡 Vì sao đáng chú ý
Laguna S 2.1 nổi bật nhờ kết hợp giữa kiến trúc Mixture-of-Experts hiệu quả và cửa sổ ngữ cảnh khổng lồ 1M token, phù hợp cho các tác vụ coding phức tạp và dài hạn. Kết quả benchmark cho thấy hiệu suất mạnh trên các bài đánh giá như Terminal-Bench 2.1 (70.2%) và SWE-bench Multilingual (78.5%). Mô hình hỗ trợ đa nền tảng server như vLLM, SGLang, TRT-LLM và llama.cpp, đáp ứng nhu cầu triển khai linh hoạt.
#Laguna-S-2-1 #Mixture-of-Experts #AgenticCoding #OpenMDW #TiniX
Similar Projects
Discover other similar projects and AI models.
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Paper Link👁️ 1. Introduction We present DeepSeek-V3, a strong Mixture-of-Experts (MoE) language model with 671B total parameters with 37B activated for each token. To achieve efficient inference and cost-effective training, DeepSeek-V3 adopts Multi...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence Technical Report👁️ Introduction We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language models — DeepSeek-V4-Pro with 1.6T p...