FuseAI/FuseO1-DeepSeekR1-QwQ-SkyT1-Flash-32B-Preview
FuseO1-Preview: System-II Reasoning Fusion of LLMs ----------------------------- | 📑 Paper | 🐱 GitHub Repo | 🤗 Hugging Face | 🌐 Blog | Fanqi Wan, Longguang Zhong, Ziyi Yang, Weizhou Shen, Xinting Huang FuseAI Team Overview FuseO1-Preview(https:/...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#2 Repository Của Tuần
🔬 FuseO1-Preview: Hợp nhất đa mô hình LLM để tăng cường suy luận System-II
Hợp nhất DeepSeek-R1, QwQ, Sky-T1 thành một mô hình duy nhất với khả năng suy luận mạnh, đạt 74.0 trên AIME24.
FuseO1-Preview là dự án của FuseAI Team (Fanqi Wan, Longguang Zhong, Ziyi Yang, Weizhou Shen, Xinting Huang), dùng kỹ thuật hợp nhất SCE (Sparse Cross-Encoder) để kết hợp nhiều mô hình LLM open-source kiểu o1 thành một mô hình thống nhất, tập trung cải thiện khả năng suy luận System-II trong lĩnh vực toán học, lập trình và khoa học.
✨ Điểm nổi bật
- Hai chiến lược hợp nhất: Long-Long Reasoning Merge và Long-Short Reasoning Merge.
- Hiệu suất xuất sắc: Mô hình FuseO1-DeepSeekR1-QwQ-SkyT1-32B-Preview đạt 74.0 trên AIME24, vượa OpenAI o1-preview (44.6) và o1-mini (63.4).
- Đa dạng nguồn mô hình: Kết hợp từ DeepSeek-R1-Distill-Qwen-32B, QwQ-32B-Preview, Sky-T1-32B-Preview.
- Hỗ trợ GGUF: Cung cấp phiên bản GGUF để chạy trên phần cứng consumer.
- Tự động hóa với mergekit: Dùng script YAML để tái tạo mô hình hợp nhất.
- Bốn mô hình phụ trợ: Bao gồm các phiên bản hợp nhất khác nhau cho các nhu cầu reasoning khác nhau.
💡 Vì sao đáng chú ý
FuseO1 không chỉ đơn thuần là sự kết hợp trọng số — mà là việc hợp nhất kiến thức và chiến lược suy luận từ nhiều mô hình chuyên biệt. Kỹ thuật SCE giúp giữ lại những gì tốt nhất ở mỗi nguồn mô hình, tạo ra một mô hình thống nhất vừa mạnh về lý thuyết toán học, vừa hiệu quả trong lập trình. Đặc biệt, khả năng tiếp cận AIME24 với điểm 74.0 cho thấy tiềm năng thay thế các mô hình thương mại lớn.
#System2Reasoning #ModelFusion #LLM #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
FuseO1-Preview: System-II Reasoning Fusion of LLMs ----------------------------- | 📑 Paper | 🐱 GitHub Repo | 🤗 Hugging Face | 🌐 Blog | Fanqi Wan, Longguang Zhong, Ziyi Yang, Weizhou Shen, Xinting Huang FuseAI Team Overview FuseO1-Preview(https:/...
FuseO1-Preview: System-II Reasoning Fusion of LLMs ----------------------------- | 📑 Paper | 🐱 GitHub Repo | 🤗 Hugging Face | 🌐 Blog | Fanqi Wan, Longguang Zhong, Ziyi Yang, Weizhou Shen, Xinting Huang FuseAI Team Overview FuseO1-Preview(https:/...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
BERT base model (uncased) Pretrained model on English language using a masked language modeling (MLM) objective. It was introduced in this paper(https://arxiv.org/abs/1810.04805) and first released in this repository(https://github.com/google-resear...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...