Blockway/Agens-Volundr-32B-Preview-GGUF
Agens Volundr 32B Preview — GGUF Main model card, benchmarks and discussion: Blockway/Agens-Volundr-32B-Preview(https://huggingface.co/Blockway/Agens-Volundr-32B-Preview) GGUF files of Agens Volundr 32B Preview(https://huggingface.co/Blockway/Agens-...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🚀 Agens Volundr 32B Preview — Mô hình ngữ lực 32B với kiến trúc Volundr đột phá
Agens Volundr 32B Preview là một mô hình ngữ lực lớn (32 tỷ tham số) sử dụng kiến trúc Volundr mới lạ, hỗ trợ tính năng suy nghĩ, gọi công cụ và đa ngôn ngữ. Phiên bản GGUF này tối ưu cho llama.cpp.
Agens Volundr 32B Preview là phiên bản GGUF (các tệ tin dạng gguf) của mô hình ngữ lực lớn 32B từ nhóm nghiên cứu Blockway. Mô hình này dựa trên kiến trúc Volundr mới, kết hợp các kỹ thuật Linear Attention (KDA), Sparse Attention (BCSA), bộ nhớ Engram và kết nối siêu mạng (mHC). Phiên bản này hỗ trợ đa ngôn ngữ (tiếng Anh, tiếng Trung, tiếng Quảng Đông), tích hợp sẵp khả năng suy nghĩ và gọi công cụ theo chuẩn OpenAI.
✨ Điểm nổi bật
- Kiến trúc Volundr độc đáo: Kết hợp KDA Linear Attention, BCSA Sparse Attention, Engram Memory và mHC Hyper-connections.
- Hỗ trợ đa dạng định dạng GGUF: Cung cấp các phiên bản BF16, Q8_0 và Q4_K_M để phù hợp với nhu cầu sử dụng khác nhau.
- Tích hợp suy nghĩ và gọi công cụ: Hỗ trợ tính năng suy nghĩ mặc định và gọi công cụ theo chuẩn OpenAI.
- Đa ngôn ngữ: Hỗ trợ tiếng Anh, tiếng Trung và tiếng Quảng Đông (yue).
- Hiệu năng cao trên GPU: Tốc độ sinh lên tới 32.3 token/giây với ngữ cảnh 1K token trên GPU 48GB.
- Chất lượng tốt khi lượt tượng: Q4_K_M chỉ mất 0.68% độ lệch so với bản gốc BF16.
- Tương thích với nhánh volundr của llama.cpp: Yêu cầu sử dụng nhánh volundr từ github.com/BlockWayz/llama.cpp.
💡 Vì sao đáng chú ý
Agens Volundr 32B Preview nổi bật nhờ kiến trúc Volundr mới lạ, kết hợp Linear Attention và Sparse Attention cùng bộ nhớ Engram, mang lại hiệu năng mạnh mẽ cho các tác vụ cần xử lý ngữ cảnh dài. Đặc biệt, mô hình hỗ trợ tích hợp sẵn tính năng suy nghĩ và gọi công cụ theo chuẩn OpenAI, phù hợp cho các ứng dụng agent AI phức tạp.
#AgensVolundr #Volundr #GGUF #llamacpp #AI #MachineLearning #TiniX
Similar Projects
Discover other similar projects and AI models.
GLM-5.2 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.2 blog and GLM-5 Technical report. 📍 Use GLM-5.2 API services on Z.ai API Platform. 🔜 Try GLM-5.2 here. Paper GitHub Introduction We're introducing GLM-5.2, our latest flagshi...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
BigScience Large Open-science Open-access Multilingual Language Model Version 1.3 / 6 July 2022 Current Checkpoint: Training Iteration 95000 Link to paper: here(https://arxiv.org/abs/2211.05100) Total seen tokens: 366B --- Model Details BLOOM is an...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...