Qwen/SAE-Res-Qwen3.5-35B-A3B-Base-W128K-L0_100
Qwen-Scope: Decoding Intelligence, Unleashing Potential !Overview(https://qianwen-res.oss-cn-beijing.aliyuncs.com/qwen-scope/Figures/overview.png) We are excited to introduce Qwen-Scope, an interpretability module trained on the Qwen3 and Qwen3.5 se...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tuần
#1 Repository Của Tháng
🔬 Qwen-Scope: Bộ SAE TopK trên Qwen3.5-35B-A3B-Base, trích xuất đặc trưng thưa thải qua 40 tầng
Bộ mã hóa thích ứng thưa thải (SAE), mỗi tầng giữ đúng 100 đặc trưng không bằng không.
Qwen-Scope là module giải thích cơ chế nội bộ (mechanistic interpretability) huấn luyện trên Qwen3 và Qwen3.5. Dự án tích hợp Sparse Autoencoders (SAEs) vào các tầng hidden của Qwen, ép buộc tính thưa thải để tự động rút trích đặc trưng phân tách cao, thấp trùng lặp và dễ giải thích hơn. Repo này cung cấp bộ SAE dạng TopK huấn luyện trên Qwen3.5-35B-A3B-Base.
✨ Điểm nổi bật
- TopK SAE: ở mỗi lần lan truyền, giữ đúng 100 đặc trưng khác không.
- Mở rộng 64×: d_sae 131.072, d_model 2.048.
- Hook Residual stream: trích xuất ở dòng dòng residual.
- 40 tầng: lưu trữ một checkpoint cho mỗi tầng 0–39.
- PyTorch .pt dict: mỗi file chứa W_enc, W_dec, b_enc, b_dec.
- Dễ tích hợp: hook residual, lan truyền mô hình, tính toán topk.
- Hỗ trợ Gradio demo: chạy app.py để trực quan hóa đặc trưng.
💡 Vì sao đáng chú ý
SAE ép buộc tính thưa thải giúp tách các đặc trưng phân tách, giảm trùng lặp, dễ giải thích hơn đầu ra gốc. TopK SAE nhanh hơn softmax-based SAE vì mỗi lần chỉ kích hoạt cố định số đơn vị. Phù hợp phân tích cơ chế hành vi mô hình, kiểm soát inference, phân tích phân phối mẫu, phân loại dữ liệu.
#SAE #Qwen3.5 #MechanisticInterpretability #TopK #TiniX
Similar Projects
Discover other similar projects and AI models.
Qwen-Scope: Decoding Intelligence, Unleashing Potential !Overview(https://qianwen-res.oss-cn-beijing.aliyuncs.com/qwen-scope/Figures/overview.png) We are excited to introduce Qwen-Scope, an interpretability module trained on the Qwen3 and Qwen3.5 se...
Qwen-Scope: Decoding Intelligence, Unleashing Potential !Overview(https://qianwen-res.oss-cn-beijing.aliyuncs.com/qwen-scope/Figures/overview.png) We are excited to introduce Qwen-Scope, an interpretability module trained on the Qwen3 and Qwen3.5 se...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
!FLUX.1 dev Grid(./devgrid.jpg) FLUX.1 dev is a 12 billion parameter rectified flow transformer capable of generating images from text descriptions. For more information, please read our blog post(https://blackforestlabs.ai/announcing-black-forest-la...
gemma-4-e2b-it — 35-layer SAE atlas Sparse autoencoders on every decoder layer of gemma-4-e2b-it. Trained from scratch in one rolling pipeline with an event-aware controller. 35 layers, 49,152 features per layer, no per-layer hand-tuning. The base model is a stubborn one. 15 sliding-window layers, then BAM no KV cache, thick and getting thicker the deeper you go. This atlas was built the whole way through it anyway. What this is Three months of work. My first… See the full description on the dataset page: https://huggingface.co/datasets/juiceb0xc0de/gemma-4-e2b-it-SAE.
Neuronpedia SAE Concepts Complete extraction of all individual concepts from every Sparse Autoencoder (SAE) released on Neuronpedia, plus all public features from Anthropic's Towards Monosemanticity (2023) and Scaling Monosemanticity (2024) papers. Quick Start from datasets import load_dataset # Full Neuronpedia dataset (77M rows, streaming recommended) ds = load_dataset("hbe/neuronpedia-sae-concepts", split="train", streaming=True) # Unique concepts with… See the full description on the dataset page: https://huggingface.co/datasets/hbe/neuronpedia-sae-concepts.
LTX-2.5 — Video, Audio & World Simulation Full control and customization — self-host on your infrastructure. Homepage Docs GitHub Research API Playground Discord LTX License LTX-2.5 — Video, Audio & World Simulation Full control and customiz...
SAM 3 is a unified foundation model for promptable segmentation in images and videos. It can detect, segment, and track objects using text or visual prompts such as points, boxes, and masks. Compared to its predecessor SAM 2(https://github.com/facebo...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...