zai-org/chatglm2-6b
ChatGLM2-6B 💻 Github Repo • 🐦 Twitter • 📃 GLM@ACL 22 GitHub • 📃 GLM-130B@ICLR 23 GitHub 👋 Join our Slack and WeChat 📍Experience the larger-scale ChatGLM model at chatglm.cn 介绍 ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B(https://github.com/THUDM/ChatGLM...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🚀 ChatGLM2-6B: Bước tiến mạnh mẽ của dòng mô hình đối thoại đa ngôn ngữ
ChatGLM2-6B là bản nâng cấp đáng kể từ ChatGLM-6B với hiệu năng cao hơn, ngữ cảnh dài và khả năng triển khai linh hoạt.
ChatGLM2-6B là phiên bản thế hệ thứ hai của mô hình đối thoại đa ngôn ngữ (Trung-English) ChatGLM-6B, do nhóm nghiên cứu THUDM phát triển. Dựa trên nền tảng của phiên bản đầu, ChatGLM2-6B không chỉ duy trì sự mượt mà trong trò chuyện và dễ dàng triển khai mà còn cải tiến đáng kể về hiệu năng, độ dài ngữ cảnh và tính hiệu quả trong suy diễn.
✨ Điểm nổi bật
- Hiệu năng nâng cấp đáng kể: Cải thiện trên các bài kiểm tra như MMLU (+23%), CEval (+33%), GSM8K (+571%), BBH (+60%).
- Hỗ trợ ngữ cảnh dài: Từ 2K lên đến 32K nhờ FlashAttention, phù hợp cho các cuộc trò chuyện đa lượt.
- Tối ưu suy diễn: Tốc độ nhanh hơn 42%, sử dụng bộ nhớ GPU thấp hơn nhờ Multi-Query Attention.
- Hỗ trợ định lượng INT4: Chỉ cần 6GB VRAM, hỗ trợ độ dài đầu vào lên đến 8K trong chế độ định lượng.
- Giấy phép mở rộng: Hoàn toàn miễn phí cho nghiên cứu học thuật và sử dụng thương mại sau khi đăng ký.
💡 Vì sao đáng chú ý
ChatGLM2-6B khác biệt nhờ sự kết hợp giữa hiệu năng mạnh mẽ và khả năng tiếp cận dễ dàng. Với khả năng hỗ trợ ngữ cảnh dài lên đến 32K và tối ưu hoá bộ nhớ nhờ Multi-Query Attention, mô hình phù hợp cho cả ứng dụng nghiên cứu và triển khai sản phẩm thực tế. Đặc biệt, khả năng cải thiện đáng kể trên các tập bài kiểm tra đa dạng như MMLU, CEval và GSM8K cho thấy tiềm năng mạnh mẽ trong hiểu và sinh ngôn ngữ.
#ChatGLM2 #AI #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
ChatGLM-6B 🌐 Blog • 💻 Github Repo • 🐦 Twitter • 📃 GLM@ACL 22 GitHub • 📃 GLM-130B@ICLR 23 GitHub 👋 Join our Slack and WeChat 📍Experience the larger-scale ChatGLM model at chatglm.cn 我们发布了 ChatGLM2-6B(https://github.com/THUDM/ChatGLM2-6B)，ChatG...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
ChatGLM3-6B 💻 Github Repo • 🐦 Twitter • 📃 GLM@ACL 22 GitHub • 📃 GLM-130B@ICLR 23 GitHub 👋 Join our Slack and WeChat 📍Experience the larger-scale ChatGLM model at chatglm.cn GLM-4 开源模型 我们已经发布最新的 GLM-4 模型，该模型在多个指标上有了新的突破，您可以在以下两个渠道体验我们的最新模型。 + G...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators ELECTRA is a new method for self-supervised language representation learning. It can be used to pre-train transformer networks using relatively little compute. ELECTRA mode...
ChatGLM3-6B-128K 💻 Github Repo • 🐦 Twitter • 📃 GLM@ACL 22 GitHub • 📃 GLM-130B@ICLR 23 GitHub 👋 Join our Slack and WeChat 📍Experience the larger-scale ChatGLM model at chatglm.cn 介绍 (Introduction) ChatGLM3-6B-128K在ChatGLM3-6B(https://huggingfac...
FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...