bartowski/NousResearch_Hermes-4.3-36B-GGUF
Llamacpp imatrix Quantizations of Hermes-4.3-36B by NousResearch Using llama.cpp release b7229 for quantization. Original model: https://huggingface.co/NousResearch/Hermes-4.3-36B All quants made using imatrix option with dataset from here(https://g...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🧠 Bản quantized GGUF mạnh mẽ từ Hermes-4.3-36B — tối ưu cho CPU
Bản quantized GGUF của mô hình Hermes-4.3-36B do NousResearch phát triển, sử dụng kỹ thuật imatrix từ llama.cpp b7229, phù hợp chạy trên CPU và hỗ trợ LM Studio.
Đây là bản quantized GGUF của mô hình ngôn ngữ lớn Hermes-4.3-36B do NousResearch phát hành. Phiên bản này do người dùng bartowski thực hiện, sử dụng công cụ llama.cpp phiên bản b7229 với kỹ thuật imatrix để tối ưu độ chính xác. Mô hình hỗ trợ nhiều tính năng như function calling, tool use, JSON mode, structured outputs và roleplaying, phù hợp cho các ứng dụng AI đa dạng.
✨ Điểm nổi bật
- imatrix quantization: Sử dụng kỹ thuật imatrix kết hợp dataset chuyên biệt để tối ưu độ chính xác.
- Đa dạng định dạng quant: Cung cấp nhiều cấp độ nén từ bf16 (72GB) đến IQ3_M (10GB), đáp ứng nhu cầu khác nhau.
- Hỗ trợ LM Studio: Có thể chạy trực tiếp trên LM Studio hoặc các dự án dựa trên llama.cpp.
- Prompt format ChatML: Hỗ trợ định dạng prompt chchuẩn ChatML với token phân tách rõ ràng.
- Tính năng cao cấp: Hỗ trợ function calling, tool use, json mode và structured outputs.
- Lớp bố cục dài: Hỗ trợ bối cảnh dài cho các tác vụ phức tạp.
- Bản quyền nguồn mở: Được phân phối dưới giấy phép Apache-2.0.
💡 Vì sao đáng chú ý
Không giống các bản quantized thông thường, bản đây sử dụng kỹ thuật imatrix kết hợp dataset đặc biệt để duy trì độ chính xác cao ngay cả ở mức nén mạnh. Điều này giúp mô hình vẫn giữ được hiệu suất tốt khi chạy trên phần cứng CPU với RAM hạn chế. Đặc biệt, sự lựa chọn nhiều cấp độ quant từ Q3 đến Q8_0 giúp người dùng linh hoạt cân bằng giữa kích thước và chất lượng tùng theo nhu cầu sử dụng thực tế.
#GGUF #Quantized #LLM #Hermes4 #NousResearch #llamacpp #LMStudio #AI #MachineLearning #TiniX
Similar Projects
Discover other similar projects and AI models.
Hermes 4.3 - Seed 36B !4.3 small(https://cdn-uploads.huggingface.co/production/uploads/6317aade83d8d2fd903192d9/RoJnKcyjYfd5zj3PP3eRq.png) Model Description Hermes 4.3 36B is a frontier, hybrid-mode reasoning model based on ByteDance Seed 36B base,...
Hermes 4.3 - Seed 36B !4.3 small(https://cdn-uploads.huggingface.co/production/uploads/6317aade83d8d2fd903192d9/RoJnKcyjYfd5zj3PP3eRq.png) Model Description Hermes 4.3 36B is a frontier, hybrid-mode reasoning model based on ByteDance Seed 36B base,...
Hermes 4 — Llama-3.1 70B !image/jpeg(https://cdn-uploads.huggingface.co/production/uploads/6317aade83d8d2fd903192d9/roT9o5bMYBtQziRMlaSDf.jpeg) Model Description Hermes 4 70B is a frontier, hybrid-mode reasoning model based on Llama-3.1-70B by Nous...
Hermes 4 — Qwen 3 14B \ud83d\udcda Paper (Hugging Face)(https://huggingface.co/papers/2508.18255) | \ud83d\udcda Paper (arXiv)(https://arxiv.org/abs/2508.18255) | \ud83c\udf10 Project Page(https://huggingface.co/collections/NousResearch/hermes-4-col...
Hermes 4 — Llama-3.1 70B - FP8 !image/jpeg(https://cdn-uploads.huggingface.co/production/uploads/6317aade83d8d2fd903192d9/roT9o5bMYBtQziRMlaSDf.jpeg) Model Description Hermes 4 70B is a frontier, hybrid-mode reasoning model based on Llama-3.1-70B by...
Hermes 4 — Llama-3.1 405B - FP8 !image/jpeg(https://cdn-uploads.huggingface.co/production/uploads/6317aade83d8d2fd903192d9/roT9o5bMYBtQziRMlaSDf.jpeg) Model Description Hermes 4 405B is a frontier, hybrid-mode reasoning model based on Llama-3.1-405B...
Hermes 4 — Qwen 3 14B !image/jpeg(https://cdn-uploads.huggingface.co/production/uploads/6317aade83d8d2fd903192d9/roT9o5bMYBtQziRMlaSDf.jpeg) Model Description Hermes 4 14B is a frontier, hybrid-mode reasoning model based on Qwen 3 14B by Nous Resear...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...