juiceb0xc0de/gemma-4-e2b-it-SAE
gemma-4-e2b-it — 35-layer SAE atlas Sparse autoencoders on every decoder layer of gemma-4-e2b-it. Trained from scratch in one rolling pipeline with an event-aware controller. 35 layers, 49,152 features per layer, no per-layer hand-tuning. The base model is a stubborn one. 15 sliding-window layers, then BAM no KV cache, thick and getting thicker the deeper you go. This atlas was built the whole way through it anyway. What this is Three months of work. My first… See the full description on the dataset page: https://huggingface.co/datasets/juiceb0xc0de/gemma-4-e2b-it-SAE.
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🧠 Atlas SAE 35 lớp cho Gemma-4-e2b-it — Bản đồ hoạt động nhận thức từng lớp
Bản đồ SAE trên mọi lớp giải mã của gemma-4-e2b-it, huấn luyện trong một pipeline liền mạch với bộ điều khiển thông minh.
gemma-4-e2b-it-SAE là một bộ công cụ sparse autoencoder (SAE) được huấn luyện trên mọi lớp giải mã của mô hình ngôn ngữ Gemma-4-e2b-it. Đây là sản phẩm của ba tháng nghiên cứu, nỗ lực tạo ra một "bản đồ" (atlas) chi tiết về những gì mỗi lớp học được từ dữ liệu đầ vào.
✨ Điểm nổi bật
- 35 lớp, 49.152 đặc trưng mỗi lớp: Mỗi lớp của mô hình đều có một SAE riêng, tạo thành một bản đồ toàn diện.
- Huấn luyện tự động: Không cần chỉnh thủ công siêu tham số cho từng lớp; bộ điều khiển sự kiện tự điều chỉnh.
- Kiến trúc jumprelu + Lagrangian: Kết hợp hai kỹ thuật để kiểm soát độ thưa (L0) và chất lượng tái tạo (explained variance).
- Pipeline xử lý song song: Trong khi huấn luyện lớp n, dữ liệu cho lớp n+1 được tạo đồng thời.
- Tối ưu VRAM: Chỉ giữ hai lớp liên tiếp trong bộ nhớ, giảm tải tính toán.
- Kết quả tốt: Hầu hết các lớp đạt ≤0.5% đặc trưng chết, EV trên 0.9.
💡 Vì sao đáng chú ý
Dự án này không chỉ là một mô hình khác — đó là nỗ lực mang SAE đến mọi lớp của một mô hình phức tạp như Gemma-4-e2b-it, nơi có cấu trúc sliding-window và thách thức lớn về KV cache. Nhờ thiết kế trainer thông minh, toàn bộ quá trình huấn luyện diễn ra tự động, từ đó khám phá sâu hơn vào cách mô hình biểu diễn thông tin. Đặc biệt đáng chú ý là câu chuyện "đấm đá" với lớp 34 — một thử thách khó khăn đã được vượt qua bằng các vòng điều chỉnh linh hoạt.
#SAE #MechanisticInterpretability #Gemma #SparseAutoencoder #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Qwen-Scope: Decoding Intelligence, Unleashing Potential !Overview(https://qianwen-res.oss-cn-beijing.aliyuncs.com/qwen-scope/Figures/overview.png) We are excited to introduce Qwen-Scope, an interpretability module trained on the Qwen3 and Qwen3.5 se...
Qwen-Scope: Decoding Intelligence, Unleashing Potential !Overview(https://qianwen-res.oss-cn-beijing.aliyuncs.com/qwen-scope/Figures/overview.png) We are excited to introduce Qwen-Scope, an interpretability module trained on the Qwen3 and Qwen3.5 se...
Qwen-Scope: Decoding Intelligence, Unleashing Potential !Overview(https://qianwen-res.oss-cn-beijing.aliyuncs.com/qwen-scope/Figures/overview.png) We are excited to introduce Qwen-Scope, an interpretability module trained on the Qwen3 and Qwen3.5 se...
Neuronpedia SAE Concepts Complete extraction of all individual concepts from every Sparse Autoencoder (SAE) released on Neuronpedia, plus all public features from Anthropic's Towards Monosemanticity (2023) and Scaling Monosemanticity (2024) papers. Quick Start from datasets import load_dataset # Full Neuronpedia dataset (77M rows, streaming recommended) ds = load_dataset("hbe/neuronpedia-sae-concepts", split="train", streaming=True) # Unique concepts with… See the full description on the dataset page: https://huggingface.co/datasets/hbe/neuronpedia-sae-concepts.
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
BERT base model (uncased) Pretrained model on English language using a masked language modeling (MLM) objective. It was introduced in this paper(https://arxiv.org/abs/1810.04805) and first released in this repository(https://github.com/google-resear...
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other models.