zai-org/chatglm3-6b-128k
ChatGLM3-6B-128K 💻 Github Repo • 🐦 Twitter • 📃 GLM@ACL 22 GitHub • 📃 GLM-130B@ICLR 23 GitHub 👋 Join our Slack and WeChat 📍Experience the larger-scale ChatGLM model at chatglm.cn 介绍 (Introduction) ChatGLM3-6B-128K在ChatGLM3-6B(https://huggingfac...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#4 Repository Của Tuần
#4 Repository Của Tuần
#4 Repository Của Tuần
🧠 ChatGLM3-6B-128K — Phiên bản dài hóa cho ngữ cảnh tới 128K
ChatGLM3-6B-128K dựa trên ChatGLM3-6B, tăng cường hiểu biết văn bản dài, hỗ trợ ngữ cảnh lên tới 128K.
ChatGLM3-6B-128K là phiên bản nâng cấp từ ChatGLM3-6B, được thiết kế để xử lý ngữ cảnh dài lên tới 128K ký tự. Dựa trên nền tảng mô hình ngôn ngữ lớn ChatGLM3-6B, phiên bản này cập nhật kiến trúc mã hóa vị trí (position encoding) và áp dụng phương pháp huấn luyện dành riêng cho văn bản dài trong giai đoạn đối thoại. Nếu nhu cầu ngữ cảnh nhỏ hơn 8K, đội nhóm khuyên dùng ChatGLM3-6B thường; đối với ngữ cảnh lớn hơn 8K, ChatGLM3-6B-128K là lựa chọn phù hợp.
✨ Điểm nổi bật
- Hỗ trợ ngữ cảnh 128K: Cập nhật mã hóa vị trí và huấn luyện với độ dài ngữ cảnh 128K, phù hợp cho xử lý văn bản dài.
- Dựa trên ChatGLM3-6B: Kế thừa khả năng mạnh mẽ từ mô hình cơ sở ChatGLM3-6B-Base.
- Hỗ trợ công cụ tích hợp sẵn: Hỗ trợ gọi hàm (Function Call), thực thi mã (Code Interpreter) và các tác vụ Agent.
- Đầy đủ mở nguồn: Các trọng số mô hình được mở nguồn hoàn toàn cho nghiên cứu học thuật và cho phép sử dụng thương mại miễn phí sau đăng ký.
- Dễ tích hợp: Tương thích với thư viện Transformers và hỗ trợ chạy qua Hugging Face.
💡 Vì sao đáng chú ý
ChatGLM3-6B-128K khác biệt từ các mô hình khác nhờ khả năng xử lý ngữ cảnh cực lớn lên tới 128K mà không cần đổi mô hình mới. Điều này giúp người dùng dễ dàng chuyển đổi từ xử lý văn bản ngắn sang văn bản dài mà không mất công cấu hình lại hệ thống. Đặc biệt hiệu quả trong các ứng dụng như phân tích tài liệu dài, tóm tắt báo cáo hoặc xử lý lịch sử hội thoại phức tạp.
#ChatGLM #LLM #128KContext #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
ChatGLM-6B 🌐 Blog • 💻 Github Repo • 🐦 Twitter • 📃 GLM@ACL 22 GitHub • 📃 GLM-130B@ICLR 23 GitHub 👋 Join our Slack and WeChat 📍Experience the larger-scale ChatGLM model at chatglm.cn 我们发布了 ChatGLM2-6B(https://github.com/THUDM/ChatGLM2-6B)，ChatG...
ChatGLM2-6B 💻 Github Repo • 🐦 Twitter • 📃 GLM@ACL 22 GitHub • 📃 GLM-130B@ICLR 23 GitHub 👋 Join our Slack and WeChat 📍Experience the larger-scale ChatGLM model at chatglm.cn 介绍 ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B(https://github.com/THUDM/ChatGLM...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
ChatGLM3-6B 💻 Github Repo • 🐦 Twitter • 📃 GLM@ACL 22 GitHub • 📃 GLM-130B@ICLR 23 GitHub 👋 Join our Slack and WeChat 📍Experience the larger-scale ChatGLM model at chatglm.cn GLM-4 开源模型 我们已经发布最新的 GLM-4 模型，该模型在多个指标上有了新的突破，您可以在以下两个渠道体验我们的最新模型。 + G...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators ELECTRA is a new method for self-supervised language representation learning. It can be used to pre-train transformer networks using relatively little compute. ELECTRA mode...
FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...