CausalLM/14B-DPO-alpha
For details, please refer to the version without DPO training: CausalLM/14B(https://huggingface.co/CausalLM/14B). | Model | MT-Bench | | ------------------------- | ------------ | | GPT-4 | 8.99 | | GPT-3.5-Turbo | 7.94 | | | | | Zephyr-7b-β (Overfit...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🚀 CausalLM/14B-DPO-alpha — Mô hình ngôn ngữ lớn 14 tỷ thông qua DPO tối ưu hóa con người
Mô hình 14B-DPO-alpha đạt 7.618868 trên MT-Bench, vượa mặt mọi mô hình chat ~13B khác.
CausalLM/14B-DPO-alpha là phiên bản tối ưu của mô hình ngôn ngữ lớn CausalLM/14B thông qua huấn luyện DPO (Direct Preference Optimization). Không phải là bản tiếp tục huấn luyện trên CausalLM/14B & 7B, mà là phiên bản được tinh chỉnh đồng thời trên một nhánh huấn luyện trước đó. Mô hình hỗ trợ tiếng Anh và tiếng Trung, được huấn luyện trên hơn 20 nguồn dữ liệu đa dạng bao gồm cả dữ liệu toán học, hội thoại và kiến thức chuyên sâu.
✨ Điểm nổi bật
- MT-Bench 7.618868: Vượa mặt tất cả mô hình chat ~13B, xếp #1 trên Hugging Face Open LLM Leaderboard
- DPO Optimization: Tinh chỉnh trực tiếp từ nhánh huấn luyện trước, không tiếp tục pretrain
- Đa ngôn ngữ: Hỗ trợ tiếng Anh và tiếng Trung (en, zh)
- Dữ liệu đa dạng: 20+ nguồn dữ liệu bao gồm OpenOrca, UltraChat, MetaMathQA, WizardLM, ShareGPT52K
- Kiến trúc mở rộng: Dựa trên nền tảng Llama/Llama2/Qwen
- Bản quyền mở: Giấy phép WTFPL — sử dụng tự do cho mọi mục đích
💡 Vì sao đáng chú ý
Điểm mạnh của dự án nằm ở việc áp dụng DPO trực tiếp trên nhánh huấn luyện trước đó, thay vì tiếp tục pretrain truyền thống. Điều này giúp mô hình đạt hiệu suất cao hơn so với các mô hình cùng quy mô nhưng chưaqua được tối ưu hóa bằng DPO. Phiên bản beta sắp tới hứa hẹn mang đến các phương pháp thích ứng mạnh mẽ hơn để tiếp cận và vượt mặt GPT-3.5.
Tuy nhiên, do dữ liệu huấn luyện chưa được lọc, mô hình có thể sinh ra nội dung gây phản cảm, bạo lực hoặc thiếu an toàn. Người dùng cần tự kiểm tra và lọc kết quả đầu ra.
#CausalLM #DPO #LLM #TextGeneration #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
BigScience Large Open-science Open-access Multilingual Language Model Version 1.3 / 6 July 2022 Current Checkpoint: Training Iteration 95000 Link to paper: here(https://arxiv.org/abs/2211.05100) Total seen tokens: 366B --- Model Details BLOOM is an...
Llama 2 Llama 2 is a collection of pretrained and fine-tuned generative text models ranging in scale from 7 billion to 70 billion parameters. This is the repository for the 7B fine-tuned model, optimized for dialogue use cases and converted for the...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
GLM-5.2 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.2 blog and GLM-5 Technical report. 📍 Use GLM-5.2 API services on Z.ai API Platform. 🔜 Try GLM-5.2 here. Paper GitHub Introduction We're introducing GLM-5.2, our latest flagshi...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...