openbmb/MiniCPM-o-4_5
A Gemini 2.5 Flash Level MLLM for Vision, Speech, and Full-Duplex Mulitmodal Live Streaming on Your Phone GitHub(https://github.com/OpenBMB/MiniCPM-o) | CookBook(https://github.com/OpenSQZ/MiniCPM-V-CookBook) | Omni-modal Demo(https://openbmb.github....
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Ngày
#1 Repository Của Tháng
#1 Repository Của Tháng
🚀 MiniCPM-o 4.5: MLLM đa phương thức cấp tốc cho điện thoại
Mô hình any-to-any mạnh nhất từ OpenBMB, kết hợp thị giác, giọng nói và truyền phát trực tuyến song công suất trong một mô hình 9B.
MiniCPM-o 4.5 là phiên bản nâng cấp mạnh mẽ nhất của dòng mô hình MiniCPM-o, được xây dựng theo kiến trúc end-to-end dựa trên SigLip2, Whisper-medium, CosyVoice2 và Qwen3-8B với tổng cộng 9 tỷ tham số. Mô hình vượt trội hằng loạt với điểm số trung bình 77.6 trên OpenCompass, chỉ sau GPT-4o và Gemini 2.0 Pro nhưng trước mắt tiếp cận Gemini 2.5 Flash.
✨ Điểm nổi bật
- Khả năng thị giác hàng đầu: Đạt 77.6 trên OpenCompass, vượa mặt GPT-4o và Gemini 2.0 Pro.
- Hỗ trợ đa chế độ: Bao gồm cả chế độ instruct và thinking trong một mô hình.
- Giọng nói tự nhiên: Hỗ trợ đối thoại thời gian thực song ngữ Anh-Việt với giọng nói có thể cấu hình.
- Nhân bản giọng nói: Cho phép sao chép giọng nói và đóng vai qua một đoạn audio tham chiếu ngắn.
- Truyền phát trực tuyến song công suất: Xử lý đồng thời luồng video và âm thanh đầu vào, đư ra kết quả văn bản và giọng nói đồng thời.
- Tương tác chủ động: Mô hình có thể tự động nhận xét hoặc nhắc nhở dựa trên hiểu biết liên tục về cảnh quay.
- OCR mạnh mẽ: Xử lý hình ảnh độ phân giải cao (đến 1.8 triệu pixel) và video FPS cao (đến 10fps).
- Triển khai linh hoạt: Hỗ trợ PyTorch, llama.cpp, Ollama, vLLM, SGLang và nhiều định dạng mã hóa khác nhau.
💡 Vì sao đáng chú ý
MiniCPM-o 4.5 nổi bật nhờ khả năng kết hợp đa domen end-to-end, cho phép truyền thông liên tục và phản hồi thời gian thực mà không cần chuyển đổi trung gian. Cơ chế truyền phát trực tuyến song công suất giúp mô hình vừa nhìn vừa nghe và nói đồng thời, tạo trải nghiệm đa phương thức trôi chảy.
Đặc biệt, cơ chế TDM (Time-Division Multiplexing) đồng bộ hóa tất cả luồng đầu vào/đầu ra theo thời gian thực bằng mili giây, mở thông qua LLM backbone một cách hiệu quả. Đây là bước đột phá so với các mô hình truyền thống chỉ hỗ trợ đa phương thức rời rạc.
#MLLM #MultimodalAI #OpenSource #FullDuplex #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
A GPT-4o Level MLLM for Vision, Speech and Multimodal Live Streaming on Your Phone GitHub(https://github.com/OpenBMB/MiniCPM-o) | Online Demo(https://minicpm-omni-webdemo-us.modelbest.cn) | Technical Blog(https://openbmb.notion.site/MiniCPM-o-2-6-A-G...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
BERT base model (uncased) Pretrained model on English language using a masked language modeling (MLM) objective. It was introduced in this paper(https://arxiv.org/abs/1810.04805) and first released in this repository(https://github.com/google-resear...
Qwen2.5-Omni Overview Introduction Qwen2.5-Omni is an end-to-end multimodal model designed to perceive diverse modalities, including text, images, audio, and video, while simultaneously generating text and natural speech responses in a streaming man...
Qwen3-Omni Overview Introduction Qwen3-Omni is the natively end-to-end multilingual omni-modal foundation models. It processes text, images, audio, and video, and delivers real-time streaming responses in both text and natural speech. We introduce s...