zai-org/chatglm-6b
ChatGLM-6B 🌐 Blog • 💻 Github Repo • 🐦 Twitter • 📃 GLM@ACL 22 GitHub • 📃 GLM-130B@ICLR 23 GitHub 👋 Join our Slack and WeChat 📍Experience the larger-scale ChatGLM model at chatglm.cn 我们发布了 ChatGLM2-6B(https://github.com/THUDM/ChatGLM2-6B)，ChatG...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#2 Repository Của Tuần
#2 Repository Của Tuần
#2 Repository Của Tuần
ChatGLM-6B: Mô hình ngôn ngữ đa ngôn ngữ mạnh mẽ chỉ với 6.2 tỷ tham số
ChatGLM-6B kết hợp kiến trúc GLM và công nghệ lượng tử hóa để mang lại trải nghiệm trò chuyện thông minh mà không cần phần cứng đắt tiền.
ChatGLM-6B là một mô hình ngôn ngữ lớn nguồn mở với 6.2 tỷ tham số, được phát triển bởi nhóm nghiên cứu THUDM. Dựa trên khung kiến trúc General Language Model (GLM), mô hình này được tối ưu hóa cho cả câu hỏi và trò truyện bằng tiếng Trung và tiếng Anh. Nhờ kỹ thuật lượng tử hóa, người dùng có thể triển khai mô hình này trực tiếp trên các thẻ đồ họa phổ thông chỉ với 6GB bộ nhớ GPU khi sử dụng cấp độ lượng tử hóa INT4.
✨ Điểm nổi bật
- 6.2 tỷ tham số: Mô hình ngôn ngữ lớn nhưng vẫn nhẹ và hiệu quả.
- Hỗ trợ đa ngôn ngữ: Tối ưu cho câu hỏi và trò truyện bằng tiếng Trung và tiếng Anh.
- Triển khai nhẹ nhàng: Chỉ cần 6GB VRAM với lượng tử hóa INT4, phù hợp với phần cứng tiêu dùng.
- Hoàn toàn nguồn mở: Cho phép sử dụng cho nghiênứu học và thương mại sau khi điền vào khảo sát.
- Huấn luyện trên 1T token: Kết hợp dữ liệu đa ngôn ngữ lớn để cải thiện hiệu suất.
- Tích hợp công nghệ tiên tiến: Bao gồm SFT, FBK và RLHF để tạo ra câu trả lời gần gũi với con người.
- Dễ tích hợp: Hỗ trợ gọi qua thư viện Transformers của Hugging Face.
💡 Vì sao đáng chú ý
Không giống như các mô hình lớn khác yêu cầu cơ sở hạ tầng mạnh mẽ, ChatGLM-6B được thiết thiết kế để hoạt động hiệu quả ngay cả trên phần cứng tiêu dùng nhờ công nghệ lượng tử hóa. Điều này mở ra cơ hội cho các nhà nghiên cứu và nhà phát triển ở mọi nơi có thể thử nghiệm và ứng dụng mô hình ngôn ngữ lớn mà không cần đầu tư lớn.
#ChatGLM #OpenSource #LLM #AI #TiniX
Similar Projects
Discover other similar projects and AI models.
ChatGLM2-6B 💻 Github Repo • 🐦 Twitter • 📃 GLM@ACL 22 GitHub • 📃 GLM-130B@ICLR 23 GitHub 👋 Join our Slack and WeChat 📍Experience the larger-scale ChatGLM model at chatglm.cn 介绍 ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B(https://github.com/THUDM/ChatGLM...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
ChatGLM3-6B 💻 Github Repo • 🐦 Twitter • 📃 GLM@ACL 22 GitHub • 📃 GLM-130B@ICLR 23 GitHub 👋 Join our Slack and WeChat 📍Experience the larger-scale ChatGLM model at chatglm.cn GLM-4 开源模型 我们已经发布最新的 GLM-4 模型，该模型在多个指标上有了新的突破，您可以在以下两个渠道体验我们的最新模型。 + G...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators ELECTRA is a new method for self-supervised language representation learning. It can be used to pre-train transformer networks using relatively little compute. ELECTRA mode...
ChatGLM3-6B-128K 💻 Github Repo • 🐦 Twitter • 📃 GLM@ACL 22 GitHub • 📃 GLM-130B@ICLR 23 GitHub 👋 Join our Slack and WeChat 📍Experience the larger-scale ChatGLM model at chatglm.cn 介绍 (Introduction) ChatGLM3-6B-128K在ChatGLM3-6B(https://huggingfac...
FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...