jojohai/Qwen3.6-27B-DFlash-GGUF
This is the conversion of z-lab/Qwen3.6-27B-DFlash to be used with llama.cpp folowing the method in the first post https://github.com/ggml-org/llama.cpp/pull/22105 Offered as a convenience. DFlash is a second model to load as a drafter. The command :...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#2 Repository Của Tháng
#3 Repository Của Tháng
#2 Repository Của Tuần
🚀 Qwen3.6-27B-DFlash dưới dạng GGUF cho llama.cpp
Bản chuyển đổi từ z-lab/Qwen3.6-27B-DFlash sang định dạng GGUF, tương thích với llama.cpp và hỗ trợ speculative decoding bằng DFlash làm bản nháp.
Đây là bản chuyển đổi của mô hình z-lab/Qwen3.6-27B-DFlash để sử dụng với llama.cpp, theo phương pháp trong bài đăng đầu tiên tại liên kết GitHub. Được cung cấp như một tiện ích.
✨ Điểm nổi bật
- Chuyển đổi GGUF: Hỗ trợ chạy trên llama.cpp với định dạng chuẩn GGUF.
- Hỗ trợ DFlash làm bản nháp: Sử dụng DFlash như một mô hình draft thứ hai trong speculative decoding.
- Tương thích ROCm: Đã được kiểm thử trên nền tảng ROCm; Vulkan chưa hỗ trợ.
- Lệnh chạy mẫu: Cung cấp ví dụ cấu hình llama-server với spec-draft và thiết bị phần cứng cụ thể.
- Cấu hình linh hoạt: Hỗ trợ thiết lập host, port, bộ nhớ ngữ cảnh (context length), và số lượng lõi GPU sử dụng.
💡 Vì sao đáng chú ý
Dự án này giúp người dùng dễ dàng triển khai và chạy mô hình Qwen3.6-27B-DFlash trên môi trường llama.cpp mà không cần thực hiện thủ công các bước chuyển đổi phức tạp. Việc tích hợp speculative decoding thông qua DFlash như một bản nháp có thể cải thiện đáng kể tốc độ sinh của mô hình.
#Qwen3 #GGUF #llamaCPP #SpeculativeDecoding #TiniX
Similar Projects
Discover other similar projects and AI models.
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Read our How to Run Qwen3.8-27B Guide!(https://unsloth.ai/docs/models/qwen3.8) This GGUF uses Unsloth Dynamic V3.0 (preview) for SOTA quantization performance. Developer Role Support so Qwen3.8 can work in agentic tools like Codex and more! MTP for...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...
For more details please refer to our github repo: https://github.com/FlagOpen/FlagEmbedding BGE-M3 (paper(https://arxiv.org/pdf/2402.03216.pdf), code(https://github.com/FlagOpen/FlagEmbedding/tree/master/FlagEmbedding/BGEM3)) In this project, we intr...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....