QuixiAI/Qwen3-72B-Synthesis
Qwen3-72B-Synthesis This still doesn't work, I'm trying to fix it. A Qwen3-Architecture 72B Model Forged from Qwen3-32B and Qwen2.5-72B-Instruct. Model Description Qwen3-72B-Synthesis is an experimental, 80-layer, 72-billion-parameter large language...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🔬 Qwen3-72B-Synthesis: Hợp nhất hai kiến trúc Qwen thành một mô hình 72B chưa hoàn hảo
Một thí nghiệm đột phá: kết hợp Qwen3-32B với Qwen2.5-72B-Instruct để tạo ra mô hình 72B theo kiến trúc Qwen3.
Qwen3-72B-Synthesis là một mô hình ngôn ngữ lớn mang kiến trúc Qwen3, được tạo ra thông qua một quy trình "phẫu thuật" ba giai đoạn từ hai nguồn: Qwen3-32B (làm nền tảng) và Qwen2.5-72B-Instruct (làm người cho quà tri thức). Dự án đang trong giai đoạn thử nghiệm và chưa hoạt động hoàn hảo.
✨ Điểm nổi bật
- Kiến trúc Qwen3: RMSNorm, SwiGLU, không bias, bao gồm
q_normvàk_norm - 72 tỷ tham số, 80 tầng: Quy mô lớn nhưng giữ nguyên cấu trúc hiện đại
- Upscaling tự nội suy: Tạo chiều mới bằng cách trung bình hóa các slice trọng số
- Loại bỏ bias: Tất cả tensor
.biastừ Qwen2.5 đã bị gỡ bỏ - Cắt giảm từ vựng: Từ 152064 xuống 151936 để khớp với Qwen3
- Chiến lược Knowledge Bridge: Transplant khối truyền thống ổn định từ donor
- Cấu hình MergeKit linh hoạt: Kết hợp linear và passthrough qua các slice
- Hỗ trợ fine-tuning: Được thiết kế như checkpoint đầu vào cho training tiếp theo
💡 Vì sao đáng chú ý
Không đơn thuần là hợp nhất, mà là một quy trình phẫu thuật ba giai đoạn: upscaling Qwen3-32B, căn chỉnh Qwen2.5 để tương thích kiến trúc Qwen3, và cuối cùng là hợp nhất bằng MergeKit. Chiến lược "Knowledge Bridge" giữa các slice tầng 32–48 từ donor cho phép truyền tải lõi lý luận ổn định. Dù chưa hoạt động hoàn hảo, đây là checkpoint tiềm năng cho fine-tuning tiếp theo.
#Qwen3 #MergeKit #FrankenMerge #LLM #TiniX
Similar Projects
Discover other similar projects and AI models.
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
BERT base model (uncased) Pretrained model on English language using a masked language modeling (MLM) objective. It was introduced in this paper(https://arxiv.org/abs/1810.04805) and first released in this repository(https://github.com/google-resear...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
!FLUX.1 schnell Grid(./schnellgrid.jpeg) FLUX.1 schnell is a 12 billion parameter rectified flow transformer capable of generating images from text descriptions. For more information, please read our blog post(https://blackforestlabs.ai/announcing-bl...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...