poolside/Laguna-S-2.1-FP8
Use on OpenRouter · Use on Vercel AI Gateway · Release blog post Laguna S 2.1-FP8 Laguna S 2.1-FP8 is a 117.6B total parameter Mixture-of-Experts model with 8.5B activated parameters per token designed for agentic coding and long-horizon work on a l...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#2 Repository Của Tháng
🚀 Laguna S 2.1-FP8: Mô hình MoE 117.6B tối ưu cho lập trình viên độc lập
Mô hình Mixture-of-Experts 117.6B tối ưu cho lập trình viên độc lập và công việc dài hạn, với KV cache FP8 giảm tiêu thụ bộ nhớ.
Laguna S 2.1-FP8 là phiên bản FP8 của mô hình Laguna S 2.1 do Poolside phát triển, được thiết kế riêng cho các tác vụ lập trình độc lập (agentic coding) và công việc kéo dài trên máy cá nhân. Với 117.6 tỷ tham số tổng và 8.5 tỷ tham số kích hoạt cho mỗi token, mô hình sử dụng Sliding Window Attention (SWA) kết hợp gating trên từng head ở 36 trong số 48 lớp, giúp tăng tốc suy luận và giảm yêu cầu bộ nhớ KV cache.
✨ Điểm nổi bật
- Kiến trúc SWA và attention toàn cầu hỗn hợp: Dùng gating softplus với thang quay rotary riêng lớp, kết hợp SWA và global attention theo tỉ lệ 3:1 trên 48 lớp.
- KV cache FP8: Được nén lượng tử sang FP8, giảm đáng kể bộ nhớ cho mỗi token.
- Hỗ trợ reasoning tích hợp: Suy luận xen kẽ giữa các lời gọi công cụ, hỗ trợ bật/tắt chế độ suy nghĩ từng yêu cầu.
- Triển khai cục bộ: Trọng số FP8 khoảng 121 GB, hỗ trợ trên Ollama và llama.cpp (BF16 và Q4_K_M).
- Giấy phép OpenMDW-1.1: Tự do sử dụng và chỉnh sửa cho cả mục đích thương mại và phi thương mại.
- Cửa sổ ngữ cảnh 262.144 token: Hỗ trợ xử lý ngữ cảnh dài với tùy chọn mở rộng lên 1.048.576 token.
- Hỗ trợ triển khai đa nền tảng: Tương thích với vLLM, SGLang, Transformers và TRT-LLM.
💡 Vì sao đáng chú ý
Laguna S 2.1-FP8 nổi bật nhờ sự kết hợp giữa kiến trúc Mixture-of-Experts tiết kiệm tài nguyên và kỹ thuật nén FP8, giúp người dùng triển khai mô hình lớn trên máy cá nhân mà không cần phụ thuộc vào phần cứng đắt đỏ. Hiệu suất mạnh mẽ trên các bộ chuẩn đánh giá như Terminal-Bench, SWE-bench và Toolathlon cho thấy tiềm năng ứng dụng thực tế trong phát triển phần mềm tự động.
#AI #MixtureOfExperts #FP8 #OpenSource #CodingAI #TiniX
Similar Projects
Discover other similar projects and AI models.
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Paper Link👁️ 1. Introduction We present DeepSeek-V3, a strong Mixture-of-Experts (MoE) language model with 671B total parameters with 37B activated for each token. To achieve efficient inference and cost-effective training, DeepSeek-V3 adopts Multi...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence Technical Report👁️ Introduction We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language models — DeepSeek-V4-Pro with 1.6T p...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...