saidutta69/MiniCPM-V-4.7-1B-heretic

🚀 MiniCPM-V-4.7-1B-heretic: Mô hình thị giác-ngôn ngữ nhỏ gọn, đã được giải phóng, sẵn sàng chạy trên di động

Một biến thể "abliterated" của MiniCPM-V-4.7-1B, loại bỏ hành vi từ chối để trả lời trung thực hơn, vẫn giữ nguyên toàn bộ khả năng thị giác và OCR trong thân hình chỉ 1.55B tham số.

MiniCPM-V-4.7-1B-heretic là một mô hình đa phương thức (multimodal) được tạo ra từ openbmb/MiniCPM-V-4.7-1B bằng công cụ Heretic v1.4.0. Khác biệt lớn nhất là biến thể này đã được "giải phóng" (decensored) thông qua kỹ thuật directional ablation – một phương pháp chỉnh sửa trực tiếp các trọng số mạng neural chịu trách nhiệm hành vi từ chối, thay vì fine-tuning. Kết quả, tỷ lệ từ chối giảm mạnh từ 60/100 xuống còn 5/100, trong khi các khả năng cốt lõi như tháp thị giác (vision tower), OCR, và visual grounding vẫn được giữ nguyên hoàn toàn.

✨ Điểm nổi bật

• Tỷ lệ từ chối cực thấp: Chỉ 5/100 trường hợp từ chối, so với 60/100 của model gốc – phù hợp cho các ứng dụng cần phản hồi trung thực, không bị ràng buộc bởi các nguyên tắc an toàn quá mức.
• Thiết kế nhỏ gọn, tối ưu di động: Tổng cộng 1.55B tham số (text tower 1.01B + vision tower 0.55B) – là mô hình thị giác-ngôn ngữ nhỏ nhất trong bộ sưu tập này vẫn có thể "nhìn" được hình ảnh.
• Hỗ trợ GGUF đa phương thức đầy đủ: Khác biệt lớn so với các biến thể GGUF khác, file GGUF của model này vẫn giữ nguyên tháp thị giác. Người dùng phải tải cả hai file: main GGUF và file projector MiniCPM-V-4.7-1B-heretic-mmproj-F16.gguf (1.11 GB) để sử dụng hình ảnh.
• Tối ưu hóa phần cứng đa dạng: Có sẵn bộ ladder quant từ Q8_0 cho đến IQ4_XS, phù hợp từ GPU mạnh như RTX 4090 cho đến CPU/Apple Silicon hoặc GPU entry-level như GTX 1660 Super.
• Hiệu suất suy luận vượt trội: Theo đánh giá của OpenBMB, model gốc này vượt trội cả về điểm số tổng thể và hiệu suất suy luận so với Qwen3.5 0.8B.
• Dễ dàng tích hợp: Hỗ trợ llama.cpp, có ứng dụng iPhone chính thức từ OpenBMB, và định dạng safetensors chuẩn cho các khung làm việc khác.
• ABLiteration có kiểm soát: KL divergence đạt 0.0351 – một giá trị ở mức trung bình, cho thấy sự cân bằng giữa việc loại bỏ từ chối và bảo toàn năng lực của model.

💡 Vì sao值得关注

Điểm thực sự khác biệt của MiniCPM-V-4.7-1B-heretic nằm ở việc chọn phương pháp abliteration thay vì fine-tuning để loại bỏ từ chối. Fine-tuning một "nhân cách helpful" lên trên những từ chối đã được RLHF training thường gặp sự đối kháng với training gốc, dẫn đến sự suy giảm về tính liên kết (coherence). Ngược lại, abliteration xác định và chỉnh sửa chính xác những hướng trọng số cụ thể chịu trách nhiệm về hành vi từ chối, để phần còn lại của mạng – và tất cả năng lực của nó – hoàn toàn untouched.

Điều này làm cho model trở thành lựa chọn lý tưởng cho các developer muốn xây dựng các agent thị giác tại chỗ (on-device) – ví dụ như một assistant đọc screenshot, giải thích biểu đồ, hoặc thực hiện OCR trên tài liệu – mà không bị gò bó bởi các giới hạn từ chối câu hỏi nhạy cảm. Nếu bạn cần một mô hình text-only nhỏ gọn hơn, Qwen3.5-0.8B-heretic là lựa chọn denser; còn nếu muốn một model text mạnh hơn, hãy loại bỏ tháp thị giác và chọn một trong các model 3B text.

#VLM #OnDeviceAI #MiniCPM #ABLiteration #OpenSource #TiniX