unsloth/Llama-3_1-Nemotron-Ultra-253B-v1-GGUF
Llama-3.1-Nemotron-Ultra-253B-v1 Model Overview !Accuracy Plot(./accuracyplot.png) Llama-3.1-Nemotron-Ultra-253B-v1 is a large language model (LLM) which is a derivative of Meta Llama-3.1-405B-Instruct(https://huggingface.co/meta-llama/Llama-3.1-405...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#2 Repository Của Tuần
#2 Repository Của Tuần
🚀 Llama-3.1-Nemotron-Ultra-253B-v1: Mô hình lý luận siêu nhẹ từ NVIDIA với NAS đột phá
Một mô hình ngôn ngữ lớn 253 tỷ tham số được thiết kế lại bởi NVIDIA thông qua Neural Architecture Search, mang lại hiệu suất vượt trội so với kích thước.
Llama-3.1-Nemotron-Ultra-253B-v1 là một mô hình ngôn ngữ lớn (LLM) phụ trợ được phát triển từ Meta Llama-3.1-405B-Instruct. Được tối ưu thông qua kỹ thuật tìm kiếm kiến trúc thần kinh (Neural Architecture Search - NAS), mô hình giảm đáng kể dung lượng bộ nhớ và số lượng GPU cần thiết để triển khai, đồng thời cải thiện đáng kể độ trễ xử lý nhờ phương pháp nén thẳng đứng mới lạ. Với khả năng hỗ trợ ngữ cảnh lên đến 128.000 token, mô hình phù hợp cho các hệ thống AI Agent, chatbot và ứng dụng RAG.
✨ Điểm nổi bật
- Tối ưu NAS: Sử dụng Neural Architecture Search để chọn kiến trúc tối ưu giữa độ chính xác và hiệu suất tính toán.
- Nén thẳng đứng: Cải thiện đáng kể độ trễ thông qua phương pháp nén mô hình thẳng đứng được mô tả trong bài báo trên arXiv.
- Kiến trúc phi chuẩn: Các khối mạng được tùy chỉnh không lặp lại, bao gồm bỏ qua cơ chế attention, FFN biến thiên và hợp nhất FFN.
- Hỗ trợ 128K token: Ngữ cảnh lên đến 131.072 token, phù hợp cho tác vụ xử lý văn bản dài.
- Đa giai đoạn huấn luyện: Bao gồm SFT cho toán học, lập trình, lý luận, trò chuyện và gọi công cụ, cùng nhiều giai đoạn RL bằng GRPO.
- Triển khai trên 8xH100: Mô hình chạy trên một núi máy 8xH100 duy nhất.
- Sẵn sàng thương mại: Được phép sử dụng thương mại theo giấy phép NVIDIA Open Model License.
- Hỗ trợ đa ngôn ngữ: Hỗ trợ tiếng Anh, tiếng Việt và nhiều ngôn ngữ khác như Đức, Pháp, Tây Ban Nha...
💡 Vì sao đáng chú ý
Khác với các mô hình khác chỉ tập trung vào độ chính xác hoặc kích thước, Llama-3.1-Nemotron-Ultra-253B-v1 sử dụng NAS để tối ưu toàn diện giữa cả hai yếu tố này. Kết hợp với kỹ thuật nén thẳng đứng, mô hình không chỉ nhỏ gọn hơn mà còn giảm đáng kể chi phí vận hành trong môi trường data center. Đây là lựa chọn lý tưởng cho các doanh nghiệp muốn triển khai các ứng dụng AI tối ưu chi phí nhưng vẫn đảm bảo hiệu năng cao.
#LLM #NVIDIALLM #NeuralArchitectureSearch #OpenSource #AIReasoning #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
GLM-5.2 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.2 blog and GLM-5 Technical report. 📍 Use GLM-5.2 API services on Z.ai API Platform. 🔜 Try GLM-5.2 here. Paper GitHub Introduction We're introducing GLM-5.2, our latest flagshi...