DavidAU/Llama-3.2-8X3B-MOE-Dark-Champion-Instruct-uncensored-abliterated-18.4B
Llama-3.2-8X3B-MOE-Dark-Champion-Instruct-uncensored-abliterated-18.4B This repo contains the full precision source code, in "safe tensors" format to generate GGUFs, GPTQ, EXL2, AWQ, HQQ and other formats. The source code can also be used directly. N...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#2 Repository Của Tuần
#6 Repository Của Tuần
🧠 Llama-3.2-8X3B-MOE Dark Champion Instruct (bất kì, 18.4B)
Mô hình ngôn ngữ lớn 18.4B tham chiếu từ Hugging Face, hỗ trợ nhiều định dạng định lượng và chạy trực tiếp qua Transformers.
Đây là kho lưu trữ mô hình ngôn ngữ lớn được xây dựng từ Llama-3.2 với kiến trúc Mixtral (MoE), tổng cộng 18.4 tỷ tham số, được huấn luyện theo hướng Instruct và đã được xử lý để bỏ qua các hạn chế (uncensored-abliterated). Mô hình sử dụng định dạng safetensors để hỗ trợ tạo ra các bản định lượng GGUF, GPTQ, EXL2, AWQ, HQQ hoặc chạy trực tiếp mà không cần chuyển đổi.
✨ Điểm nổi bật
- Hỗ trợ đa định dạng: Xuất ra GGUF, GPTQ, EXL2, AWQ, HQQ và các định dạng khác từ safetensors gốc.
- Kiến trúc MoE (Mixtrur of Experts): Dựa trên Llama-3.2 với 8 nhóm chuyên gia (8X3B), mỗi token sử dụng 2 chuyên gia mặc định.
- Cấu hình tùy chỉnh: Cho phép thay đổi số lượng chuyên gia mỗi token thông qua
config.json. - Tốc độ thời gian thực: Tốc độ sinh token thay đổi tùy theo số lượng chuyên gia được kích hoạt.
- Hướng dẫn tối ưu: Cung cấp hướng dẫn cài đặt tham số và bộ lọc (sampler) tối ưu cho mọi ứng dụng AI.
- Tương thích endpoint: Hỗ trợ triển khai trên Hugging Face Endpoints và các nền tảng tương thích.
💡 Vì sao đáng chú ý
Mô hình kết hợp lợi thế của Llama-3.2 và kiến trúc MoE để cung cấp hiệu suất cao với quy mô tham số lớn, đồng thời linh hoạt hỗ trợ nhiều định dạng định lượng khác nhau. Điều này giúp người dùng dễ dàng triển khai trên nhiều nền tảng phần cứng khác nhau từ CPU đến GPU.
Đặc biệt, mô hình đi kèm với tài liệu hướng dẫn chi tiết về cách tối ưu hoá tham số và bộ lọc để đạt hiệu năng tốt nhất, phù hợp cho cả nghiên cứu và ứng dụng thực tế.
#Llama3 #MoE #OpenSource #AI #TiniX
Similar Projects
Discover other similar projects and AI models.
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Llama 2 Llama 2 is a collection of pretrained and fine-tuned generative text models ranging in scale from 7 billion to 70 billion parameters. This is the repository for the 7B fine-tuned model, optimized for dialogue use cases and converted for the...