jcbtc/Laguna-S-2.1-Chadrock-ROCmFP4-StrixKVSpine-V4-GGUF
Laguna S 2.1 118B Chadrock ROCmFP4 StrixKVSpine V4 — Runtime V2 An AMD-optimized, quality-protected ROCmFP4 quant of Poolside Laguna S 2.1(https://huggingface.co/poolside/Laguna-S-2.1), built for local agentic coding on Ryzen AI Max+ 395 / Radeon 80...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#2 Repository Của Tháng
🚀 Laguna S 2.1 118B Chadrock ROCmFP4 — Bản định lượng siêu nhẹ dành riêng cho AMD
Một bản quantize ROCmFP4 tối ưu hoá cho AMD, giảm 9 GiB so với Q4_K_M gốc nhưng vẫn giữ nguyên chất lượng và tốc độ sinh trên Ryzen AI Max+ 395.
Đây là bản quantize V4 của dự án Poolside Laguna S 2.1, được tinh chỉnh riêng cho llama.cpp với hỗ trợ kiến trúc Laguna và ROCmFP4. Tác giả xây dựng phiên bản này nhằm hỗ trợ việc chạy mô hình 118B tổng tham số (~8B tham số hoạt động) trực tiếp trên phần cứng AMD mà không cần dựa vào dịch vụ đám mây.
✨ Điểm nổi bật
- ROCmFP4 tensor types: Sử dụng định dạng ROCmFP4 để tối ưu bộ nhớ và tốc độ trên AMD.
- Kích thước nhỏ gọn: Chỉ 60.945 GiB, nhỏ hơn 12.95% so với bản Q4_K_M chính thức.
- Bảo vệ ngữ cảnh dài: Hỗ trợ ngữ cảnh an toàn lên tới 131,072 token (V2).
- Tốc độ sinh thực tế: Đạt 35.62 tok/s trong bài kiểm tra 128K đầy đủ.
- Chạy trên AMD Ryzen AI Max+ 395 / Radeon 8060S: Được tối ưu cho phần cứng Strix Halo.
- Runtime V2 ổn định: Sửa lỗi DeviceLost trong Flash Attention và thêm chế độ chẩn đoán tự động.
- KV cache F16/F16: Giữ nguyên độ chính xác cho hồ sơ ngữ cảnh 131K đã được xác minh.
- Kết quả đánh giá cao: Vượt trội hơn Q4_K_M trên Tool-Eval, HumanEval+, và HermesAgent-20.
💡 Vì sao đáng chú ý
Không chỉ làm nhỏ lại mô hình, phiên bản này còn bảo vệ các thành phần nhạy cảm nhất của Laguna bằng ROCmFP4 nhanh, trong khi giữ lại chất lượng tốt nhất trên các phần còn lại như attention K/V, gates, dense block 0, và shared experts. Kết hợp với Runtime V2 của Ciru ROCmFPX, người dùng có thể chạy trực tiếp trên máy tính cá nhân mà không lo lắng về sự cố Vulkan hay timeout trên RADV.
Rất phù hợp cho các bài toán lập trình độc lập và tận dụng công cụ AI trên nền tảng AMD.
#LLM #ROCmFP4 #AMD #LagunaS2.1 #Chadrock #llama.cpp #GGUF #AgenticCoding #TiniX
Similar Projects
Discover other similar projects and AI models.
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
GLM-5.2 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.2 blog and GLM-5 Technical report. 📍 Use GLM-5.2 API services on Z.ai API Platform. 🔜 Try GLM-5.2 here. Paper GitHub Introduction We're introducing GLM-5.2, our latest flagshi...