unsloth/ERNIE-4.5-21B-A3B-PT-GGUF
ERNIE-4.5-21B !NOTE Note: "-Paddle" models use PaddlePaddle(https://github.com/PaddlePaddle/Paddle) weights, while "-PT" models use Transformer-style PyTorch weights. ERNIE 4.5 Highlights The advanced capabilities of the ERNIE 4.5 models, particular...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#2 Repository Của Tuần
🚀 ERNIE-4.5-21B-A3B-PT-GGUF — Bản quantized GGUF của mô hình MoE 21 tỷ tham số
Bản quantized GGUF tối ưu cho triển khai và suy diễn hiệu suất cao.
Đây là phiên bản GGUF được quantized của mô hình ERNIE-4.5-21B-A3B-PT do Baidu phát triển, dựa trên kiến trúc Mixture-of-Experts (MoE). Mô hình hỗ trợ sinh văn bản bằng tiếng Anh và tiếng Trung, tương thích với thư viện Transformers và triển khai thông qua Hugging Face.
✨ Điểm nổi bật
- Kiến trúc MoE: Tổng 21 tỷ tham số, 3 tỷ tham số được kích hoạt cho mỗi token, với 64 chuyên gia (experts) và 6 chuyên gia được kích hoạt mỗi lần.
- Hỗ trợ đa ngôn ngữ: Tối ưu cho cả tiếng Anh và tiếng Trung.
- Tương thích Transformers: Sử dụng thư viện Transformers phiên bản 4.54.0 trở lên để tải và chạy mô hình.
- Định dạng GGUF: Được quantized để giảm kích thước và tăng tốc suy diễn mà không mất quá nhiều chất lượng.
- Hỗ trợ thiết bị linh hoạt: Tương thích với nhiều nền tảng phần cứng nhờ cơ chế
device_mapvàtorch_dtype. - Bối cảnh dài: Hỗ trợ độ dài ngữ cảnh lên đến 131.072 token.
- Tích hợp Hugging Face: Tương thích với Hugging Face Endpoints và pipeline sinh văn bản.
💡 Vì sao đáng chú ý
ERNIE-4.5-21B-A3B-PT-GGUF mang lại sức mạnh của mô hình MoE lớn từ Baidu trong môi trường được tối ưu cho triển khai thực tế. Với việc sử dụng định dạng GGUF, mô hình giảm đáng kể kích thước và tăng tốc độ suy diễn, phù hợp cho ứng dụng sinh nội dung đa ngôn ngữ. Đặc biệt phù hợp cho các dự án yêu cầu xử lý ngôn ngữ tự nhiên phức tạp với tài nguyên hạn chế.
#ERNIE4.5 #GGUF #MoE #TextGeneration #TiniX
Similar Projects
Discover other similar projects and AI models.
GLM-5.2 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.2 blog and GLM-5 Technical report. 📍 Use GLM-5.2 API services on Z.ai API Platform. 🔜 Try GLM-5.2 here. Paper GitHub Introduction We're introducing GLM-5.2, our latest flagshi...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...