FuseAI/FuseO1-DeepSeekR1-QwQ-32B-Preview
FuseO1-Preview: System-II Reasoning Fusion of LLMs ----------------------------- | 📑 Paper | 🐱 GitHub Repo | 🤗 Hugging Face | 🌐 Blog | Fanqi Wan, Longguang Zhong, Ziyi Yang, Weizhou Shen, Xinting Huang FuseAI Team Overview FuseO1-Preview(https:/...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🔬 FuseO1-Preview: Hợp nhất LLM o1-like để tăng cường tư duy System-II
Hệ thống FuseAI phát triển FuseO1-Preview, dùng kỹ thuật SCE (Sparse Cross-Encoder) để hợp nhất nhiều mô hình ngôn ngữ lớn có khả năng lập luận dài (o1-like) thành một mô hình thống nhất.
FuseO1-Preview là nỗ lực ban đầu của đội ngũ FuseAI nhằng nâng cao khả năng lập luận tư duy hệ thống-II (System-II reasoning) của các mô hình ngôn ngữ lớn thông qua kỹ thuật hợp nhất mô hình đổi mới. Dựa trên phương pháp hợp nhất SCE (Sparse Cross-Encoder), dự án tích hợp nhiều mô hình nguồn mở có phong cách lập luận o1-like thành một mô hình thống nhất duy nhất. Mục tiêu là kết hợp kiến thức và điểm mạnh đặc trưng từ các mô hình khác nhau để tạo ra một mô hình có khả năng lập luận mạnh mẽ, đặc biệt trong các lĩnh vực toán học, lập trình và khoa học.
✨ Điểm nổi bật
- Hai chiến lược hợp nhất: Long-Long Reasoning Merging (hợp nhất giữa các mô hình lập luận dài) và Long-Short Reasoning Merging (hợp nhất lập luận dài và ngắn).
- Hiệu suất xuất sắc: Mô hình FuseAI/FuseO1-DeepSeekR1-QwQ-SkyT1-32B-Preview đạt 74.0 Pass@1 trên AIME24, vượt trội hẳn so với OpenAI o1-preview (44.6) và o1-mini (63.4).
- Đa dạng nguồn mô hình: Hợp nhất từ các mô hình như DeepSeek-R1-Distill-Qwen-32B, QwQ-32B-Preview, Sky-T1-32B-Preview, Qwen2.5-32B-Instruct và Qwen2.5-32B-Coder.
- Hỗ trợ GGUF: Cung cấp phiên bản GGUF cho phép chạy mô hình trên phần cứng không hỗ trợ GPU mạnh.
- Hướng dẫn tái tạo chi tiết: Cung cấp script và cấu hình YAML để người dùng dễ dàng tái tạo mô hình hợp nhất.
- Mã nguồn mở: Toàn bộ quy trình và mã nguồn được công khai trên GitHub và Hugging Face.
💡 Vì sao đáng chú ý
FuseO1-Preview khác biệt từ các dự án tương tự bằng cách sử dụng kỹ thuật SCE để hợp nhất các mô hình có kiến trúc tương tự nhau nhưng được huấn luyện với các kỹ thuật lập luận khác nhau. Thay vì phát triển mô hình từ đầu, dự án tận dụng sức mạnh của các mô hình đã tồn tại để tạo ra một mô hình mạnh mẽ hơn với chi phí huấn luyện thấp hơn. Đặc biệt, khả năng đạt 74.0 Pass@1 trên bài kiểm tra AIME24 cho thấy tiềm năng thực tế trong các bài toán toán phức tạp.
#ModelFusion #SystemIIReasoning #OpenSource #DeepSeek #Qwen #TiniX
Similar Projects
Discover other similar projects and AI models.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
FuseO1-Preview: System-II Reasoning Fusion of LLMs ----------------------------- | 📑 Paper | 🐱 GitHub Repo | 🤗 Hugging Face | 🌐 Blog | Fanqi Wan, Longguang Zhong, Ziyi Yang, Weizhou Shen, Xinting Huang FuseAI Team Overview FuseO1-Preview(https:/...
FuseO1-Preview: System-II Reasoning Fusion of LLMs ----------------------------- | 📑 Paper | 🐱 GitHub Repo | 🤗 Hugging Face | 🌐 Blog | Fanqi Wan, Longguang Zhong, Ziyi Yang, Weizhou Shen, Xinting Huang FuseAI Team Overview FuseO1-Preview(https:/...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
BERT base model (uncased) Pretrained model on English language using a masked language modeling (MLM) objective. It was introduced in this paper(https://arxiv.org/abs/1810.04805) and first released in this repository(https://github.com/google-resear...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...