moonshotai/Kimi-K3
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Ngày
#5 Repository Của Tháng
🚀 Kimi K3: Mô hình đa phương thức mở tiên tiến nhất từ Moonshot AI
Kimi K3 là mô hình đa phương thức đại trợ nhiệm mở mạnh nhất của Moonshot AI, với 2.8 tỷ tham số và cửa sổ ngữ cảnh lên đến 1 triệu token.
Kimi K3 là một mô hình đa phương thức đại trợ nhiệm đã mở trọng lượng, được xây dựng trên Kimi Delta Attention (KDA) và Attention Residuals (AttnRes), hỗ trợ khả năng hiểu biết nguyên bản về hình ảnh và video. Đây là mô hình lớp 3T đầu tiên trên thế giới, được thiết kế cho trí tuệ tiên tiến trong lập trình dài hạn, làm việc tri thức và lý luận.
✨ Điểm nổi bật
- Kiến trúc mới: Dựa trên Kimi Delta Attention (KDA) và Attention Residuals (AttnRes), tối ưu hóa độ thưa thớt MoE với Stable LatentMoE, kích hoạt 16 trong 896 chuyên gia.
- Lập trình lâu dài: Hỗ trợ phiên bản kỹ thuật dài với kiểm soát tối thiểu, điều hướng kho lưu trữ lớn và công cụ dòng lệnh.
- Làm việc tri thức đại trợ nhiệm: Hỗ trợ nghiên cứu sâu với trực quan hóa tương tác, widget và dashboard.
- Đa phương thức nguyên bản & ngữ cảnh dài: Hiểu biết văn bản, hình ảnh và video trong cùng một mô hình, hỗ trợ ngữ cảnh lên đến 1 triệu token.
- Trọng lượng mở: Phát hành trọng lượng mô hình đầy đủ dưới Giấy phép Kimi K3 cho nghiên cứu và triển khai.
💡 Vì sao đáng chú ý
Kimi K3 nổi bật nhờ kiến trúc đổi mới và khả năng mở rộng hiệu quả, cải thiện 2.5× so với Kimi K2. Mô hình phù hợp cho các tác vụ đòi hỏi xử lý dài hạn và đa dạng định dạng đầu vào.
#KimiK3 #MoonshotAI #Multimodal #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
📰 Tech Blog | 📄 Paper 0. Changelog - 2026.1.29: - The default system prompt might cause confusion to users and unexpected behaviours, so we remove it. - The token is incorrect; it has bee...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
LocateAnything: Fast and High-Quality Vision-Language Grounding with Parallel Box Decoding 🔗 Quick Links 🚀 Online Demo: LocateAnything (Hugging Face Spaces)(https://huggingface.co/spaces/nvidia/LocateAnything) 💻 GitHub Code: NVlabs/Eagle/Embodied...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
🌟 Github | 📥 Model Download | 📄 Paper Link | 📄 Arxiv Paper Link | DeepSeek-OCR: Contexts Optical Compression Explore the boundaries of visual-text compression. Usage Inference using Huggingface transformers on NVIDIA GPUs. Requirements tested on...