AxiomicLabs/GPT-X3-150M
!X3 Banner(GPTX3banner.png) GPT-X3-150M is Axiomic Labs’ third-generation base model, built on the TX5 hybrid GDN2/gated GQA architecture and trained from scratch with TrainWork. It ranks 1 on the Open SLM Leaderboard(https://huggingface.co/spaces/Ax...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Ngày
#1 Repository Của Ngày
#1 Repository Của Ngày
🚀 GPT-X3-150M: Mô hình ngôn ngữ siêu hiệu quả dưới 150M tham số
Đứng hơn 27 lần mạnh trên chỉ số trí tuệ so với SmolLM2-135M nhưng chỉ dùng 75B token huấn luyện.
GPT-X3-150M là mô hình ngôn ngữ truy thếp thứ ba của Axiomic Labs, được xây dựng trên kiến trúc TX5 hybrid GDN2/gated GQA và huấn luyện từ đầu bằng TrainWork. Được huấn luyện từ sạch trên hai GPU với tổng số 75 tỷ token, mô hình này đứng đầu Open SLM Leaderboard và là mô hình dưới 150M tham số đầu tiên vượt mốc chỉ số trí tuệ (Intelligence Index) 30.
✨ Điểm nổi bật
- Kiến trúc hybrid GDN2 + GQA (3:1): Kết hợp 18 lớp GDN2 và 6 lớp gated GQA trong tổng số 24 lớp tuần tự.
- Chỉ số trí tuệ 33.05: Dẫn đầu leaderboard vượt mô hình đối thế như SmolLM2-135M hay LFM2.5-350M.
- Hiệu quả token vượt trội: Chỉ dùng 75B token để đạt kết quả tốt, thấp hơn 27× so với SmolLM2-135M (2,000B token).
- Tối ưu optimizer hybrid: Sử dụngMuon cho trọng số ma trận và AdamW cho embedding, norm, bias.
- Huấn luyện 6-token TST: Dùng mô phỏng 6 token mục tiêu trong 30% đầu, rồi chuyển sang next-token.
- Bộ tokenizer 65k: Áp dụng tokenizer LFM2.5 với 65,536 token, cải thiện tốc độ và ngữ cảnh dài.
- Tùy chỉnh cấu hình chi tiết: Hỗ trợ RoPE (theta=100k), QK normalization, SiLU activation, RMSNorm.
- Dữ liệu đa nguồn cố định: Kết hợp 9 nguồn dữ liệu với tỉ lệ cố định từ đầu tránh mất ổn ở mô hình nhỏ.
💡 Vì sao đáng chú ý
GPT-X3-150M khẳng định rằng mô hình nhỏ không nhất thiếu hiệu suất nếu được thiết kế thông minh. Với kiến trúc hybrid GDN2/GQA và cách tiếp cận huấn luyện giai đoạn hai môi trường (TST → next-token), mô hình đạt kết quả tốt hơn cả các mô hình lớn hơn gấp 2 lần. Điều này mở ra tiềm năng cho các ứng dụng AI tiết kiệm chi phí tri ân trên thiết bị.
#OpenSource #MachineLearning #SmallLanguageModel #GDN2 #HybridArchitecture #TiniX
Similar Projects
Discover other similar projects and AI models.
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Model Card for Mistral-7B-v0.1 The Mistral-7B-v0.1 Large Language Model (LLM) is a pretrained generative text model with 7 billion parameters. Mistral-7B-v0.1 outperforms Llama 2 13B on all benchmarks we tested. For full details of this model please...