poolside/Laguna-S-2.1-NVFP4
Use on OpenRouter · Use on Vercel AI Gateway · Release blog post Laguna S 2.1-NVFP4 Laguna S 2.1-NVFP4 is a 117.6B total parameter Mixture-of-Experts model with 8.5B activated parameters per token designed for agentic coding and long-horizon work on...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#2 Repository Của Tuần
🚀 Laguna S 2.1-NVFP4 — Mô hình MoE mã hóa tác nhân siêu nhẹ trên máy cá nhân
Mô hình Mixture-of-Experts 117.6B tham số với chỉ 71 GB trọng số NVFP4, tối ưu cho làm việc dài hạn và lập trình tác nhân trên cục.
Laguna S 2.1-NVFP4 là một mô hình Mixture-of-Experts (MoE) với 117.6 tỷ tham số tổng thể và 8.5 tỷ tham số kích hoạt mỗi token, được thiết kế riêng cho mã hóa hướng tác nhân và công việc dài hạn trên máy tính cá nhân. Mô hình sử dụng Sliding Window Attention (SWA) với cơ chế gated trên từng head ở 36/48 tầng, giúp tăng tốc suy luận và giảm yêu cầu bộ nhớ KV cache. Được công bố bởi nhóm nghiên cứu Poolside, Laguna S 2.1 đạt hiệu suất nổi bật trên nhiều bài kiểm tra mã hóa như Terminal-Bench 2.1 (70.2%) và SWE-bench Multilingual (78.5%).
✨ Điểm nổi bật
- Kiến trúc MoE 117.6B/8.5B: 117.6 tỷ tham số tổng thể, 8.5 tỷ kích hoạt mỗi token, tối ưu cho môi trường tính toán cá nhân.
- KV cache FP8: Bộ nhớ lưu trữ ngữ cảnh được nén xuống FP8, giảm đáng kể dung lượng bộ nhớ cho mỗi token.
- Cửa sổ ngữ cảnh 262K: Hỗ trợ xử lý chuỗi đầu vào lên đến 262.144 token với tùy chỉnh mở rộng lên 1M token.
- Hỗ trợ lý trí tích hợp: Tư duy xen kẽ giữa các lời gọi công cụ, có thể bật/tắt tùy yêu cầu.
- Phân phối 3:1 SWA/Global: 36/48 tầng dùng SWA, 12 tầng dùng attention toàn cục, kết hợp softplus gating.
- Triển khai đa nền tảng: Hỗ trợ vLLM, SGLang, Transformers, TRT-LLM, Ollama (MLX) và llama.cpp (BF16/Q4_K_M).
- Giấy phép OpenMDW-1.1: Tự do sử dụng thương mại và phi thương mại.
- Đạt điểm cao trên bảng bench: Dẫn đầu hoặc bằng mô hình khác trên Terminal-Bench 2.1, SWE-bench Multilingual, DeepSWE, SWE Atlas, Toolathlon Verified.
💡 Vì sao đáng chú ý
Laguna S 2.1 khác biệt nhờ kết hợp kiến trúc MoE hiệu quả với KV cache FP8, cho phép chạy một mô hình lớn (>100B) thực sự trên cỗ máy cá nhân mà không cần phần cứng đắt tiền. Điều này mở ra khả năng phát triển và triển khai các tác nhân mã hóa thông minh ngay tại nơi làm việc.
Ngoài ra, hiệu suất xuất sắc trên các bài kiểm tra mã hóa thực tế (Terminal-Bench 2.1, SWE-bench) cho thấy mô hình không chỉ nhỏ gọn mà còn mạnh mẽ trong các nhiệm vụ lập trình phức tạp, kể cả làm việc đa bước và sử dụng công cụ.
#AI #MachineLearning #OpenSource #MixtureOfExperts #CodingAgent #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence Technical Report👁️ Introduction We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language models — DeepSeek-V4-Pro with 1.6T p...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Paper Link👁️ 1. Introduction We present DeepSeek-V3, a strong Mixture-of-Experts (MoE) language model with 671B total parameters with 37B activated for each token. To achieve efficient inference and cost-effective training, DeepSeek-V3 adopts Multi...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...