nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16
NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 !(./accuracyplot.png) Model Summary | | | |:---|:---| | Total Parameters | 550B (55B active) | | Architecture | LatentMoE - Mamba-2 + MoE + Attention hybrid with Multi-Token Prediction (MTP) | | Context Length...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Ngày
#1 Repository Của Tuần
🚀 NVIDIA Nemotron-3-Ultra-550B-A55B-BF16 — Siêu mô hình ngôn ngữ vừa mạnh vừa hiệu quả
Mô hình LLM tiên phong từ NVIDIA với 550B tham số, kết hợp kiến trúc LatentMoE, Mamba-2, MoE, Attention và MTP — tối ưu cho reasoning sâu, agentic và dài ngữ cảnh.
NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 là một mô hình ngôn ngữ lớn (LLM) siêu quy mô do NVIDIA phát triển, thiết kế cho các khẩu mục tiêu đòi hỏi khả năng reasoning phức tạp, agentic workflows, phân tích dài ngữ cảnh, sử dụng công cụ và RAG tối ưu. Với tổng số 550 tỷ tham số (trong đó 55 tỷ tham số active), mô hình áp dụng kiến trúc hybrid LatentMoE kết hợp Mamba-2, MoE và Attention, kèm lớp Multi-Token Prediction (MTP) giúp tăng tốc sinh text và nâng cao chất lượng. Mô hình hỗ trợ ngữ cảnh lên tới 1 triệu token và có khả năng lý luận đa ngôn ngữ trên 10 ngôn ngữ bao gồm tiếng Anh, Pháp, Tây Ban Nha, Ý, Đức, Nhật, Hindi, Hàn, Bắc Portugal và Trung Quốc.
✨ Điểm nổi bật
- 550B tổng tham số / 55B active: Tối ưu hiệu năng với kiến trúc Mixture-of-Experts.
- LatentMoE hybrid: Kết hợp Mamba-2, MoE và Attention trong một khung thống nhất.
- Multi-Token Prediction (MTP): Tăng tốc sinh token và cải thiện chất lượng đầu ra.
- Ngữ cảnh lên tới 1M token: Xử lý tài liệu dài và phân tích phức tạp.
- Hỗ trợ 10 ngôn ngữ: Bao gồm Anh, Pháp, Tây Ban Nha, Ý, Đức, Nhật, Hàn, Hindi, Trung và Bắc Portugal.
- Reasoning có thể bật/tắt: Cấu hình qua
enable_thinking=True/Falsetrong chat template. - GPU tối thiểu yêu cầu: 8x GB200/B200/GB300/B300, 16x H100 hoặc 8x H200.
- Giấy phép OpenMDW-1.1: Hỗ trợ cả sử dụng thương mại và phi thương mại.
💡 Vì sao đáng chú ý
Khác với các mô hình truyền thống chỉ dựa vào Attention, Nemotron-3-Ultra áp dụng kiến trúc LatentMoE kết hợp Mamba-2 và MTP, mang lại sự cân bằng giữa hiệu năng reasoning và tốc độ sinh text. Đây là lựa chọn lý tưởng cho các ứng dụng đòi hỏi reasoning sâu, agentic workflows phức tạp và phân tích tài liệu dài. Với khả năng cấu hình reasoning mode và hỗ trợ đa ngôn ngữ, mô hình phù hợp với cả môi trường nghiên cứu và sản phẩm thương mại.
#AI #LLM #NVIDIA #Nemotron #LatentMoE #MTP #OpenMDW #TiniX
Similar Projects
Discover other similar projects and AI models.
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
BigScience Large Open-science Open-access Multilingual Language Model Version 1.3 / 6 July 2022 Current Checkpoint: Training Iteration 95000 Link to paper: here(https://arxiv.org/abs/2211.05100) Total seen tokens: 366B --- Model Details BLOOM is an...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
LTX-2.5 — Video, Audio & World Simulation Full control and customization — self-host on your infrastructure. Homepage Docs GitHub Research API Playground Discord LTX License LTX-2.5 — Video, Audio & World Simulation Full control and customiz...
GLM-5.2 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.2 blog and GLM-5 Technical report. 📍 Use GLM-5.2 API services on Z.ai API Platform. 🔜 Try GLM-5.2 here. Paper GitHub Introduction We're introducing GLM-5.2, our latest flagshi...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...