EVA-UNIT-01/EVA-LLaMA-3.33-70B-v0.0
EVA LLaMA 3.33 70B v0.0 A RP/storywriting specialist model, full-parameter finetune of Llama-3.3-70B-Instruct on mixture of synthetic and natural data. It uses Celeste 70B 0.1 data mixture, greatly expanding it to improve versatility, creativity and...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🔥 EVA-LLaMA-3.33-70B-v0.0: Mô hình chuyên RP & viết chữ từ Llama 3.3
Full-parameter fine-tune Llama-3.3-70B-Instruct, tối ưu cho roleplay và sáng tạo nội dung.
EVA-LLaMA-3.33-70B-v0.0 là một mô hình chuyên về roleplay và viết chữ, được huấn luyện bằng kỹ thuật full-parameter fine-tune từ Llama-3.3-70B-Instruct. Mô hình sử dụng phân phối dữ liệu Celeste 70B 0.1 nhưng được mở rộng đáng kể để nâng cao tính đa dạng, sáng tạo và “hương vị” của mô hình. Dự án được xây dựng bởi Kearm, Auri và Cahvay.
✨ Điểm nổi bật
- Fine-tune toàn bộ tham số: Áp dụng full-parameter fine-tune từ Llama-3.3-70B-Instruct.
- Tập trung vào RP và viết chữ: Tối ưu cho roleplay và tạo nội dung sáng tạo.
- Dữ liệu đa dạng: Sử dụng hỗn hợp dữ liệu t合成 và tự nhiên, mở rộng từ Celeste 70B 0.1.
- Cấu hình huấn luyện hiệu suất: Chạy trong 10 tiếng trên 8xH100 SXM.
- Cấu hình sampler đề xuất: Temperature=1, Min-P=0.05, Repetition Penalty=1.03.
- Hỗ trợ preset SillyTavern: Cung cấp preset qua Virt-io để tối ưu trải nghiệm.
- Liger-Kernel tích hợp: Sử dụng Liger Plugin để tăng tốc huấn luyện và tiết kiệm bộ nhớ.
- Giấy phép nghiêm ngặt: Áp dụng L3.3 license với rằng buộc đặc biệt đối với Infermatic Inc.
💡 Vì sao đáng chú ý
Khác với các mô hình fine-tune nhẹ hoặc sử dụng LoRA, EVA-LLaMA-3.33-70B-v0.0 áp dụng full-parameter fine-tune, giúp khai thác tối đa tiềm năng của mạng neural. Sự kết hợp giữa dữ liệu t合成 và tự nhiên từ nhiều nguồn (Celeste, Opus Instruct, Synthstruct, Dolphin...) giúp mô hình vừa mạnh vững về kiến thức vừa linh hoạt trong sáng tạo. Đây là lựa chọn lý tưởng cho người dùng muốn xây dựng trợ lý AI chuyên về roleplay, viết truyện hoặc tạo nội dung sáng tạo.
#LLM #Roleplay #Storytelling #Llama3 #FineTuning #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
EVA Qwen2.5-32B v0.2 A RP/storywriting specialist model, full-parameter finetune of Qwen2.5-32B on mixture of synthetic and natural data. It uses Celeste 70B 0.1 data mixture, greatly expanding it to improve versatility, creativity and "flavor" of t...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Llama 2 Llama 2 is a collection of pretrained and fine-tuned generative text models ranging in scale from 7 billion to 70 billion parameters. This is the repository for the 7B fine-tuned model, optimized for dialogue use cases and converted for the...
EVA Qwen2.5-14B v0.2 A RP/storywriting specialist model, full-parameter finetune of Qwen2.5-14B on mixture of synthetic and natural data. It uses Celeste 70B 0.1 data mixture, greatly expanding it to improve versatility, creativity and "flavor" of t...
EVA LLaMA 3.33 70B v0.1 A RP/storywriting specialist model, full-parameter finetune of Llama-3.3-70B-Instruct on mixture of synthetic and natural data. It uses Celeste 70B 0.1 data mixture, greatly expanding it to improve versatility, creativity and...