unsloth/Qwen2.5-32B-Instruct-bnb-4bit
Finetune Llama 3.1, Gemma 2, Mistral 2-5x faster with 70% less memory via Unsloth! We have a Qwen 2.5 (all model sizes) free Google Colab Tesla T4 notebook(https://colab.research.google.com/drive/1Kose-ucXO1IBaZq5BvbwWieuubP7hxvQ?usp=sharing). Also...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#2 Repository Của Tuần
🚀 Qwen2.5-32B-Instruct tối ưu 4-bit: Fine-tuning nhanh, tiết kiệm bộ nhớ
Bản tin Qwen2.5 phiên bản 32 tỷ tham số, được nén 4-bit và tối ưu bởi Unsloth để fine-tuning nhanh gấp 2-5x với 70% bộ nhớ giảm xuống.
Đây là mô hình Qwen2.5 32B Instruct (bản instruction-tuned) được tối ưu bởi đội ngũ Unsloth, hỗ trợ fine-tuning nhanh trên Google Colab Tesla T4. Mô hình hỗ trợ 29 ngôn ngữ bao gồm tiếng Việt, sẵn sàng cho các tác vụ như chatbot, viết code, toán học và xử lý ngôn ngữ đa ngôn ngữ.
✨ Điểm nổi bật
- Fine-tuning miễn phí: Hỗ trợ notebook Google Colab Tesla T4 để bắt đầu ngay lập tức.
- Tối ưu 4-bit bằng Unsloth: Giảm tới 70% bộ nhớ sử dụng so với phiên bản gốc.
- Tốc độ nhanh hơn 2-5x: So với các phương pháp fine-tuning truyền thống.
- Hỗ trợ 29 ngôn ngữ: Bao gồm tiếng Việt, Trung, Anh, Pháp, Tây Ban Nha và nhiều ngôn ngữ khác.
- Kiến trúc Qwen2.5 mạnh mẽ: Causal LM với RoPE, SwiGLU, RMSNorm, Attention QKV bias.
- Context dài lên đến 128K tokens: Hỗ trợ xử lý văn bản dài và sinh văn bản đến 8K tokens.
- Xuất khẩu linh hoạt: Hỗ trợ xuất ra định dạng GGUF, vLLM hoặc tải lên Hugging Face.
- Friendly với người mới: Chỉ cần thêm dataset và nhấn "Run All" để nhận mô hình đã fine-tuned.
💡 Vì sao đáng chú ý
Qwen2.5-32B-Instruct-bnb-4bit khác biệt nhờ việc kết hợp giữa sức mạnh của Qwen2.5 và công nghệ nén 4-bit từ Unsloth, giúp giảm đáng kể nhu cầu bộ nhớ mà vẫn duy trì hiệu suất cao. Điều này mở khả năng fine-tuning các mô hình lớn ngay trên môi trường Colab miễn phí, rất lý tưởng cho nghiên cứu và phát triển ứng dụng ngôn ngữ tự nhiên.
Phù hợp cho cả nghiên cứu và ứng dụng thực tế như xây dựng chatbot đa ngôn ngữ, hệ thống hỗ trợ code và hỗ trợ giải trí thông minh.
#Qwen2.5 #Unsloth #4bit #FineTuning #OpenSource #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
huihui-ai/Qwen2.5-72B-Instruct-abliterated This is an uncensored version of Qwen/Qwen2.5-72B-Instruct(https://huggingface.co/Qwen/Qwen2.5-72B-Instruct) created with abliteration (see remove-refusals-with-transformers(https://github.com/Sumandora/rem...
!Oxy 1 Small(https://cdn-uploads.huggingface.co/production/uploads/64fb80c8bb362cbf2ff96c7e/tTIVIblPUbTYnlvHQQjXB.png) Introduction Oxy 1 Small is a fine-tuned version of the Qwen/Qwen2.5-14B-Instruct(https://huggingface.co/Qwen/Qwen/Qwen2.5-14B-Inst...
huihui-ai/Qwen2.5-32B-Instruct-abliterated This is an uncensored version of Qwen2.5-32B-Instruct(https://huggingface.co/Qwen/Qwen2.5-32B-Instruct) created with abliteration (see this article(https://huggingface.co/blog/mlabonne/abliteration) to know...
Deductive-Reasoning-Qwen-32B !image/png(https://cdn-uploads.huggingface.co/production/uploads/674a1d102c0f27a385772cfe/JauBmEQM0FpOdShBMSfst.png) Deductive Reasoning Qwen 32B is a reinforcement fine-tune of Qwen 2.5 32B Instruct(https://huggingface....
Finetune Llama 3.1, Gemma 2, Mistral 2-5x faster with 70% less memory via Unsloth! We have a Qwen 2.5 (all model sizes) free Google Colab Tesla T4 notebook(https://colab.research.google.com/drive/1Kose-ucXO1IBaZq5BvbwWieuubP7hxvQ?usp=sharing). Also...
Model Card for Aya 101 Model Summary The Aya model is a massively multilingual generative language model that follows instructions in 101 languages. Aya outperforms mT0(https://huggingface.co/bigscience/mt0-xxl) and BLOOMZ(https://huggingface.co/big...
GlotLID !GlotLID(https://img.shields.io/badge/🤗-Open%20In%20Spaces-blue.svg)(https://huggingface.co/spaces/cis-lmu/glotlid-space) Description GlotLID is a Fasttext language identification (LID) model that supports more than 2000 labels. Latest: Glo...
!logo.jpg(logo.jpg) Ivy-VL is a lightweight multimodal model with only 3B parameters. It accepts both image and text inputs to generate text outputs. Thanks to its lightweight design, it can be deployed on edge devices such as AI glasses and smartpho...
Finetune Llama 3.1, Gemma 2, Mistral 2-5x faster with 70% less memory via Unsloth! We have a Qwen 2.5 (all model sizes) free Google Colab Tesla T4 notebook(https://colab.research.google.com/drive/1Kose-ucXO1IBaZq5BvbwWieuubP7hxvQ?usp=sharing). Also...