Lewdiculous/Captain-Eris_Violet-V0.420-12B-GGUF-ARM-Imatrix
My quants of Captain-ErisViolet-V0.420-12B. !image/png(https://cdn-uploads.huggingface.co/production/uploads/65d4cf2693a0a3744a27536c/1TG8IgvdRmuYsZ5BIOWy.png) !NOTE https://huggingface.co/Nitral-AI/Captain-ErisViolet-V0.420-12B/tree/main/ST...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#6 Repository Của Tuần
🧠 Bản GGUF ARM cho Captain-Eris Violet — Roleplay 12B chạy trên thiết bị di động
Bản quant GGUF phiên bản ARM được tối ưu để chạy mô hình Captain-Eris_Violet-V0.420-12B trên phần cứng ARM.
Đây là bản quant GGUF hỗ trợ kiến trúc ARM, dựa trên mô hình gốc Nitral-AI/Captain-Eris_Violet-V0.420-12B, một mô hình ngôn ngữ lớn 12 tỷ tham số được thiết kế riêng cho các tác vụ roleplay và trò chuyện. Bản quant này giúp người dùng dễ dàng triển khai mô hình trên các thiết bị ARM như điện thoại thông minh hoặc máy tính bảng mà không cần phụ thuộc vào phần cứng mạnh.
✨ Điểm nổi bật
- Hỗ trợ ARM: Tối ưu cho thiết bị dùng chip ARM, mở rộng khả năng chạy mô hình trên thiết bị di động.
- Dựa trên Captain-Eris Violet 12B: Mô hình gốc với 12 tỷ tham số, chuyên biệt cho roleplay và conversational AI.
- Định dạng GGUF: Sử dụng chuẩn GGUF hiện đại, hỗ trợ quant tốt và tương thích với nhiều công cụ như llama.cpp.
- Tích hợp iMatrix: Sử dụng kỹ thuật iMatrix để cải thiện chất lượng quant, giảm mất thông tin so với các phương pháp khác.
- Tương thích SillyTavern: Dễ dàng tích hợp vào nền tảng roleplay SillyTavern cho trải nghiệm trò chơi nhân vai.
- Hỗ trợ endpoints: Tương thích với API endpoints, hỗ trợ triển khai nhanh trên môi trường cloud hoặc local.
💡 Vì sao đáng chú ý
Không phải ai cũng có thể chạy mô hình 12 tỷ tham số trên thiết bị di động. Bản quant GGUF ARM kết hợp với kỹ thuật iMatrix giúp giảm kích thước mô hình đáng kể nhưng vẫn giữ được chất lượng đầu ra tốt, đặc biệt trong các tình huống roleplay. Điều này mở ra khả năng trải nghiệm AI nhân vai trên điện thoại mà trước đây chỉ có thể thực hiện trên PC mạnh.
#GGUF #Mistral #Roleplay #ARM #SillyTavern #TiniX
Similar Projects
Discover other similar projects and AI models.
Read our How to Run Qwen3.8-27B Guide!(https://unsloth.ai/docs/models/qwen3.8) This GGUF uses Unsloth Dynamic V3.0 (preview) for SOTA quantization performance. Developer Role Support so Qwen3.8 can work in agentic tools like Codex and more! MTP for...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
!FLUX.1 dev Grid(./devgrid.jpg) FLUX.1 dev is a 12 billion parameter rectified flow transformer capable of generating images from text descriptions. For more information, please read our blog post(https://blackforestlabs.ai/announcing-black-forest-la...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...