Jiunsong/SuperHY3-abliterated-MLX-4bit
SuperHY3-abliterated-MLX-4bit The high-memory Apple Silicon edition of SuperHY3, with the same fused OBLITERATUS and SuperTune behavior as the NVFP4 release. !Format(https://img.shields.io/badge/format-MLX%204--bit-f59e0b)(mlx-build) !Release gate(h...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tuần
🍎 Bản MLX 4-bit nặng ký của SuperHY3 cho Apple Silicon
Gộp sẵn OBLITERATUS và SuperTune, không cần LoRA, adapter hay runtime weight patch.
SuperHY3-abliterated-MLX-4bit là bản đồng hành MLX 4-bit của SuperHY3-abliterated-NVFP4, tối ưu cho Apple Silicon bộ nhớ cao. Cùng hành vi và chat template release; định dạng lưu trữ khác. Checkpoint đã được fuse hoàn toàn, không cần LoRA, adapter hay runtime weight patch.
✨ Điểm nổi bật
- Định dạng & kích thước: MLX 4-bit imatrix-enhanced affine, group size 64; khoảng 171 GB trên 32 safetensors shards.
- Cập nhật gộp: 40 attention output projections ở các layer 39–78; chỉ sửa 40 tensor
self_attn.o_proj, không sửa routed expert. - Mixed precision: placement 4-bit gốc giữ nguyên; 40 projection đã chỉnh sửa lưu ở BF16 để tránh quantize lần hai.
- Benchmark: five-task mean tăng từ 71.6 lên 71.8; IFEval +4.0, HumanEval+ +1.0, MBPP+ +3.0, MMLU-Pro -6.0, GPQA Diamond -1.0.
- Từ chối: suite harmful 31/32 (96.875%) xuống 0/32; harmless vẫn 0/32; 64/64 response sạch.
- Kiểm chứng: 32 shard mở thành công, 2796 tensor khớp, 40 tensor sửa trên 2 shard, 52/52 file checksum, release gate pass 0 blocker, audit 12/12.
- Yêu cầu runtime: Hy3 chưa merge vào mlx-lm chính; cần PR #1211; cần >128GB unified memory, thực dụng tối thiểu 192GB, khuyến nghị ≥256GB.
- Sử dụng:
mlx_lm.load, chat template vớireasoning_effort="no_think"hoặc"high"; sampling khuyến nghị temperature=0.9, top_p=1.0.
💡 Vì sao đáng chú ý
Bản này giữ nguyên các placement 4-bit đã hiệu chỉnh, nhưng lưu các delta đã fuse ở BF16 nên bảo toàn cập nhật đã xác thực thay vì làm tròn lại vào nhóm 4-bit. Điều đó làm checkpoint lớn hơn nguồn quantization 158 GB nhưng đổi lại tính toàn vẹn.
Phù hợp cho máy Apple Silicon bộ nhớ rất lớn và người dùng cần runtime MLX; không phù hợp máy ≤128GB. MTP không có trong checkpoint; badge tham số Hub đếm storage elements chứ không phải logical params.
#MLX #AppleSilicon #Hunyuan #MoE #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence Technical Report👁️ Introduction We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language models — DeepSeek-V4-Pro with 1.6T p...