FuseAI/FuseO1-DeepSeekR1-Qwen2.5-Coder-32B-Preview
FuseO1-Preview: System-II Reasoning Fusion of LLMs ----------------------------- | 📑 Paper | 🐱 GitHub Repo | 🤗 Hugging Face | 🌐 Blog | Fanqi Wan, Longguang Zhong, Ziyi Yang, Weizhou Shen, Xinting Huang FuseAI Team Overview FuseO1-Preview(https:/...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#2 Repository Của Tuần
🧠 FuseO1-Preview: Hợp nhất đa mô hình LLM thành một AI lý luận siêu cường
Hợp nhất DeepSeek-R1, Qwen2.5-Coder và QwQ thành một mô hình duy nhất với khả năng lý luận System-II mạnh mẽ.
FuseO1-Preview là dự án của FuseAI Team, áp dụng kỹ thuật hợp nhất SCE (Sparse Cross-Encoder) để kết hợp nhiều mô hình LLM nguồn mở hỗ trợ lý luận kiểu o1 thành một mô hình thống nhất. Mục tiêu là tích hợp kiến thức và sức mạnh lý luận từ các mô hình khác nhau, đặc biệt hiệu quả trong lĩnh vực toán học, lập trình và khoa học.
✨ Điểm nổi bật
- Hợp nhất Long-Long Reasoning: Kết hợp các mô hình dùng lý luận CoT dài để nâng cao khả năng lý luận sâu.
- Hợp nhất Long-Short Reasoning: Kết hợp mô hình lý luận dài và ngắn để cải thiện cả hai dạng lý luận.
- Hiệu suất vượt trội: Mô hình FuseO1-DeepSeekR1-QwQ-SkyT1 đạt 74.0 trên AIME24, vượa mặt OpenAI o1-preview (44.6) và gần bằng o1 (79.2).
- Hỗ trợ lĩnh vực chuyên biệt: Tập trung cải thiện lý luận trong toán học, lập trình và khoa học.
- Công cụ hỗ trợ tái tạo: Cung cấp script và cấu hình YAML để người dùng tự hợp nhất mô hình.
- Định dạng GGUF: Hỗ trợ chuyển đổi mô hình sang định dạng GGUF dễ chạy trên phần cứng khác nhau.
💡 Vì sao đáng chú ý
FuseO1-Preview không chỉ đơn thuần là sự kết hợp các mô hình, mà là việc tích hợp thông minh thông qua kỹ thuật SCE giúp khai thác tối đa điểm mạnh của từng mô hình. Điều này giúp mô hình đạt hiệu suất cao ngay cả khi chưa được huấn luyện lại, chỉ với quá trình hợp nhất thông minh. Dự án phù hợp với nghiên cứu lý luận AI và ứng dụng thực tế trong giải quyết bài toán phức tạp.
#AI #ModelFusion #Reasoning #SystemII #TiniX
Similar Projects
Discover other similar projects and AI models.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
FuseO1-Preview: System-II Reasoning Fusion of LLMs ----------------------------- | 📑 Paper | 🐱 GitHub Repo | 🤗 Hugging Face | 🌐 Blog | Fanqi Wan, Longguang Zhong, Ziyi Yang, Weizhou Shen, Xinting Huang FuseAI Team Overview FuseO1-Preview(https:/...
FuseO1-Preview: System-II Reasoning Fusion of LLMs ----------------------------- | 📑 Paper | 🐱 GitHub Repo | 🤗 Hugging Face | 🌐 Blog | Fanqi Wan, Longguang Zhong, Ziyi Yang, Weizhou Shen, Xinting Huang FuseAI Team Overview FuseO1-Preview(https:/...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
BERT base model (uncased) Pretrained model on English language using a masked language modeling (MLM) objective. It was introduced in this paper(https://arxiv.org/abs/1810.04805) and first released in this repository(https://github.com/google-resear...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...