unsloth/Qwen2.5-7B-Instruct
Finetune Llama 3.1, Gemma 2, Mistral 2-5x faster with 70% less memory via Unsloth! We have a Qwen 2.5 (all model sizes) free Google Colab Tesla T4 notebook(https://colab.research.google.com/drive/1Kose-ucXO1IBaZq5BvbwWieuubP7hxvQ?usp=sharing). Also...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🚀 Qwen2.5-7B-Instruct — Mô hình ngôn ngữ lớn đa ngôn ngữ mạnh mẽ từ Alibaba Cloud
Bản tuned chỉ dẫn 7.61 tỷ tham số của Qwen2.5, hỗ trợ 29+ ngôn ngữ và tối ưu cho bẫy lệnh, sinh JSON, ngữ cảnh dài lên tới 128K token.
Qwen2.5-7B-Instruct là phiên bản được huấn luyện lại theo hướng chỉ dẫn của serie Qwen2.5 do Alibaba Cloud phát triển. Đây là mô hình ngôn ngữ lớn (LLM) dựa trên kiến trúc Causal Language Model với 7.61 tỷ tham số, được tối ưu để thực hiện tốt trong các bài nhiệm về gõ lệnh, sinh nội dung JSON, và xử lý ngữ cảnh dài. Qwen2.5 cải tiến đáng kể so với Qwen2 trong kiến thức chung, khả năng lập trình, toán học, và hỗ trợ đa ngôn ngữ.
✨ Điểm nổi bật
- 7.61 tỷ tham số: Mô hình Causal Language Model với 28 lớp, 28 đầu attention (GQA), hỗ trợ ngữ cảnh tới 131,072 token.
- Hỗ trợ đa ngôn ngữ: Bao gồm tiếng Trung, Anh, Pháp, Tây Ban Nha, Bồ Đào Nha, Đức, Ý, Nga, Nhật, Hàn, Việt, Thái, Ả Rập và hơn 29 ngôn ngữ khác.
- Tối ưu bẫy lệnh & sinh JSON: Cải thiện đáng kể khả năng tuân thủ chỉ dẫn và sinh ra đầu ra có cấu trúc như JSON.
- Hỗ trợ ngữ cảnh dài: Xử lý ngữ cảnh lên tới 128K token và sinh tạo tới 8K token.
- Kiến trúc hiện đại: Dựa trên transformers với RoPE, SwiGLU, RMSNorm và Attention QKV bias.
- Tích hợp Unsloth: Hỗ trợ huấn luyện và tinh chỉnh nhanh chóng với bộ nhớ giảm lên tới 70%.
- Xuất bản trên Hugging Face: Dễ dàng tải về và sử dụng thông qua Hugging Face Transformers.
- Miễn phí trên Google Colab: Cung cấp notebook Tesla T4 miễn phí để huấn luyện và thử nghiệm.
💡 Vì sao đáng chú ý
Qwen2.5-7B-Instruct nổi bật nhờ khả năng kết hợp mạnh mẽ giữa hiệu suất cao và hỗ trợ đa ngôn ngữ rộng rãi. Không chỉ cải thiện trong lĩnh vực lập trình và toán học, mô hình còn được tối ưu để sinh ra các đầu ra có cấu trúc như JSON, rất hữu ích cho các ứng dụng cần dữ liệu có quy cấu rõ ràng. Thêm vào đó, khả năng xử lý ngữ cảnh siêu dài lên tới 128K token giúp mô hình phù hợp cho các tác vụ đòn bẩng và phân tích tài liệu lớn.
#AI #Qwen25 #Unsloth #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
huihui-ai/Qwen2.5-72B-Instruct-abliterated This is an uncensored version of Qwen/Qwen2.5-72B-Instruct(https://huggingface.co/Qwen/Qwen2.5-72B-Instruct) created with abliteration (see remove-refusals-with-transformers(https://github.com/Sumandora/rem...
!Oxy 1 Small(https://cdn-uploads.huggingface.co/production/uploads/64fb80c8bb362cbf2ff96c7e/tTIVIblPUbTYnlvHQQjXB.png) Introduction Oxy 1 Small is a fine-tuned version of the Qwen/Qwen2.5-14B-Instruct(https://huggingface.co/Qwen/Qwen/Qwen2.5-14B-Inst...
Finetune Llama 3.1, Gemma 2, Mistral 2-5x faster with 70% less memory via Unsloth! We have a Qwen 2.5 (all model sizes) free Google Colab Tesla T4 notebook(https://colab.research.google.com/drive/1Kose-ucXO1IBaZq5BvbwWieuubP7hxvQ?usp=sharing). Also...
Model Card for Aya 101 Model Summary The Aya model is a massively multilingual generative language model that follows instructions in 101 languages. Aya outperforms mT0(https://huggingface.co/bigscience/mt0-xxl) and BLOOMZ(https://huggingface.co/big...
GlotLID !GlotLID(https://img.shields.io/badge/🤗-Open%20In%20Spaces-blue.svg)(https://huggingface.co/spaces/cis-lmu/glotlid-space) Description GlotLID is a Fasttext language identification (LID) model that supports more than 2000 labels. Latest: Glo...
!logo.jpg(logo.jpg) Ivy-VL is a lightweight multimodal model with only 3B parameters. It accepts both image and text inputs to generate text outputs. Thanks to its lightweight design, it can be deployed on edge devices such as AI glasses and smartpho...
Model Details The generative reward model used in paper "Expanding RL with Verifiable Rewards Across Diverse Domains". Inputting the question, label and the response to be evaluated, the model will judge if the response is right. Quick start python L...
transformers-AutoModelForCausalLM !NOTE LoRA by mouseEliauk: https://modelscope.cn/models/mouseEliauk/mirau-7b-RP-base !TIP Experimental quants for testing: lwd-Mirau-7b-RP-Merged-GGUF-IQ-Imatrix(https://huggingface.co/Lewdiculous/lwd-Mirau-7b-RP-Me...
huihui-ai/Qwen2.5-32B-Instruct-abliterated This is an uncensored version of Qwen2.5-32B-Instruct(https://huggingface.co/Qwen/Qwen2.5-32B-Instruct) created with abliteration (see this article(https://huggingface.co/blog/mlabonne/abliteration) to know...