wnma3mz/Janus-Pro-7B-4bit
This model is derived from https://huggingface.co/deepseek-ai/Janus-Pro-7B and the main modifications are as follows - bin files are updated to safetensors - Add chattemplate 4bit mainly refers to quantifying the LLM part to 4 bits. Quick Start In Ma...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🚀 Janus-Pro-7B-4bit: Mô hình đa năng 4-bit tối ưu cho Apple Silicon
Bản quantized 4-bit từ Janus-Pro-7B, chạy trên macOS bằng MLX với safetensors và chat template.
Đây là phiên bản được suy diễn từ mô hình gốc deepseek-ai/Janus-Pro-7B, được tối ưu để chạy hiệu quả trên macOS (Apple Silicon) thông qua framework MLX. Các thay đổi chính bao gồm chuyển đổi định dạng trọng số từ .bin sang safetensors và thêm chat_template để hỗ trợ tương tác theo kiểu chat.
✨ Điểm nổi bật
- safetensors: Thay thế định dạng
.bintruyền thống bằngsafetensors, an toàn và tối ưu hơn cho việc tải và lưu trữ mô hình. - chat_template: Hỗ trợ định dạng hội thoại ch chuẩn, dễ tích hợp vào các ứng dụng chatbot.
- Quantized 4-bit: Phần LLM được tối gọn xuống 4-bit, giảm kích thước mô hình và tiết kiệm bộ nhớ trong khi duy trì hiệu suất.
- Hỗ trợ macOS Apple Silicon: Tối ưu chạy trên nền tảng MLX của Apple, phù hợp với MacBook M-series.
- Bản quyền MIT: Dễ dàng tích hợp vào dự án cá nhân hoặc thương mại.
💡 Vì sao đáng chú ý
Phiên bản này khác biệt từ bản gốc ở chỗ được tối ưu để chạy trên macOS bằng MLX, giúp người dùng dùng thử và triển khai mô hình mà không cần phụ thuộc vào GPU NVIDIA hay môi trường Linux. Việc quantized xuống 4-bit giúp giảm đáng kể dung lượng bộ nhớ, phù hợp với triển khai trên thiết bị cá nhân.
#JanusPro #MLX #4bit #AppleSilicon #TiniX
Similar Projects
Discover other similar projects and AI models.
1. Introduction Janus-Pro is a novel autoregressive framework that unifies multimodal understanding and generation. It addresses the limitations of previous approaches by decoupling visual encoding into separate pathways, while still utilizing a sin...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind !Note This model card is for the Gemma 4 12B Unified model, which is part of the Gemma 4 family of open models. Built with the same multimodal functio...
Qwen2.5-Omni Overview Introduction Qwen2.5-Omni is an end-to-end multimodal model designed to perceive diverse modalities, including text, images, audio, and video, while simultaneously generating text and natural speech responses in a streaming man...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
A Gemini 2.5 Flash Level MLLM for Vision, Speech, and Full-Duplex Mulitmodal Live Streaming on Your Phone GitHub(https://github.com/OpenBMB/MiniCPM-o) | CookBook(https://github.com/OpenSQZ/MiniCPM-V-CookBook) | Omni-modal Demo(https://openbmb.github....
A GPT-4o Level MLLM for Vision, Speech and Multimodal Live Streaming on Your Phone GitHub(https://github.com/OpenBMB/MiniCPM-o) | Online Demo(https://minicpm-omni-webdemo-us.modelbest.cn) | Technical Blog(https://openbmb.notion.site/MiniCPM-o-2-6-A-G...
🥯 BAGEL • Unified Model for Multimodal Understanding and Generation We present BAGEL, an open‑source multimodal foundation model with 7B active parameters (14B total) trained on large‑scale interleaved multimodal data. BAGEL outperforms the current...
Qwen3-Omni Overview Introduction Qwen3-Omni is the natively end-to-end multilingual omni-modal foundation models. It processes text, images, audio, and video, and delivers real-time streaming responses in both text and natural speech. We introduce s...