Qwen/SAE-Res-Qwen3.5-9B-Base-W64K-L0_50
Qwen-Scope: Decoding Intelligence, Unleashing Potential !Overview(https://qianwen-res.oss-cn-beijing.aliyuncs.com/qwen-scope/Figures/overview.png) We are excited to introduce Qwen-Scope, an interpretability module trained on the Qwen3 and Qwen3.5 se...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🔍 Qwen-Scope: Giải mã Qwen3.5 bằng Sparse Autoencoder
Toàn bộ 32 tầng Qwen3.5-9B-Base được trang bị SAE Top-K, mỗi tầng 65536 đặc trưng thưa thảio.
Qwen-Scope là module giải thích (interpretability) huấn luyện trên Qwen3 và Qwen3.5. Dự án tích hợp Sparse Autoencoder (SAE) vào các tầng ẩn, dùng ràng buộc thưa thảio (sparsity) để tự động rút trích đặc trưng tách biệt, giảm dư thừa, dễ giải thích. Áp dụng cho phân tích cơ chế nội bộ, kiểm soát suy diễn, phân loại dữ liệu, tối ưu mô hình.
✨ Điểm nổi bật
- Top-K SAE: mỗi lần forward, đúng 50 đặc trưng được giữ lại không bằng không.
- Quy mô lớn: d_sae 65536, d_model 4096, hệ số mở rộng 16×.
- Toàn bộ tầng: 32 tệp checkpoint (layer0–layer31), định dạng PyTorch
.pt. - Cấu trúc rõ ràng: mỗi checkpoint chứa W_enc, W_dec, b_enc, b_dec.
- Hỗ trợ demo: cung cấp đoạn code trích xuất đặc trưng và giao diện Gradio.
- Tương thích rộng: dùng SAE trên mô hình cơ sở để phân tích cả mô hình fine-tuned.
💡 Vì sao đáng chú ý
Khác với SAE thông thường, Qwen-Scope áp dụng kỹ thuật Top-K giúp kiểm soát chặt chẽ số lượng đặc trưng hoạt động, cải thiện tính ổn định và giải thích được. Hỗ trợ trích xuất đặc trưng từ residual stream, phù hợp cho nghiên cứu cơ chế nội bộ và tối ưu LLM.
#SAE #QwenScope #Interpretability #SparseAutoencoder #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Qwen-Scope: Decoding Intelligence, Unleashing Potential !Overview(https://qianwen-res.oss-cn-beijing.aliyuncs.com/qwen-scope/Figures/overview.png) We are excited to introduce Qwen-Scope, an interpretability module trained on the Qwen3 and Qwen3.5 se...
Qwen-Scope: Decoding Intelligence, Unleashing Potential !Overview(https://qianwen-res.oss-cn-beijing.aliyuncs.com/qwen-scope/Figures/overview.png) We are excited to introduce Qwen-Scope, an interpretability module trained on the Qwen3 and Qwen3.5 se...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
!FLUX.1 dev Grid(./devgrid.jpg) FLUX.1 dev is a 12 billion parameter rectified flow transformer capable of generating images from text descriptions. For more information, please read our blog post(https://blackforestlabs.ai/announcing-black-forest-la...
gemma-4-e2b-it — 35-layer SAE atlas Sparse autoencoders on every decoder layer of gemma-4-e2b-it. Trained from scratch in one rolling pipeline with an event-aware controller. 35 layers, 49,152 features per layer, no per-layer hand-tuning. The base model is a stubborn one. 15 sliding-window layers, then BAM no KV cache, thick and getting thicker the deeper you go. This atlas was built the whole way through it anyway. What this is Three months of work. My first… See the full description on the dataset page: https://huggingface.co/datasets/juiceb0xc0de/gemma-4-e2b-it-SAE.
Neuronpedia SAE Concepts Complete extraction of all individual concepts from every Sparse Autoencoder (SAE) released on Neuronpedia, plus all public features from Anthropic's Towards Monosemanticity (2023) and Scaling Monosemanticity (2024) papers. Quick Start from datasets import load_dataset # Full Neuronpedia dataset (77M rows, streaming recommended) ds = load_dataset("hbe/neuronpedia-sae-concepts", split="train", streaming=True) # Unique concepts with… See the full description on the dataset page: https://huggingface.co/datasets/hbe/neuronpedia-sae-concepts.
LTX-2.5 — Video, Audio & World Simulation Full control and customization — self-host on your infrastructure. Homepage Docs GitHub Research API Playground Discord LTX License LTX-2.5 — Video, Audio & World Simulation Full control and customiz...
SAM 3 is a unified foundation model for promptable segmentation in images and videos. It can detect, segment, and track objects using text or visual prompts such as points, boxes, and masks. Compared to its predecessor SAM 2(https://github.com/facebo...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...