EVA-UNIT-01/EVA-Qwen2.5-32B-v0.0
EVA Qwen2.5-32B v0.0 A RP/storywriting specialist model, full-parameter finetune of Qwen2.5-32B on mixture of synthetic and natural data. It uses Celeste 70B 0.1 data mixture, greatly expanding it to improve versatility, creativity and "flavor" of t...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🧠 EVA-Qwen2.5-32B-v0.0: Chuyên gia Roleplay và Viết Truyện Từ Bộ Dữ liệu Đa Dạng
Mô hình fine-tune toàn bộ tham số từ Qwen2.5-32B, tối ưu cho roleplay và sáng tạo nội dung văn học.
EVA-Qwen2.5-32B-v0.0 là một dự án do Kearm và Auri phát triển, dựa trên nền tảng Qwen2.5-32B với quá trình fine-tune toàn bộ tham số. Mô hình được huấn luyện trên một bộ misture dữ liệu phong phú bao gồm cả dữ liệu tổng hợp và tự nhiên, mở rộng từ bộ dữ liệu Celeste 70B 0.1 để nâng cao tính đa dạng, sáng tạo và "hương vị" của đầu ra. Đây là lựa chọn lý tưởng cho những người muốn xây dựng trải nghiệm nhân vật số sinh động hoặc tạo ra nội dung văn học hấp dẫn.
✨ Điểm nổi bật
- Fine-tune toàn bộ tham số: Dựa trên Qwen2.5-32B, tối ưu hóa toàn bộ trọng số mạng.
- Chuyên tinh roleplay và viết truyện: Tập trung vào việc tạo ra nội dung sáng tạo và tương tác nhân vật.
- Bộ dữ liệu đa dạng: Bao gồm cả dữ liệu tổng hợp và tự nhiên từ nhiều nguồn khác nhau như Celeste, Synthstruct, SynthRP, ChatGPT-4o Writing Prompts.
- Hỗ trợ ChatML: Định dạng prompt chuẩn cho các mô hình ngôn ngữ lớn.
- Tối ưu sampler: Đề xuất các giá trị Temperature, Typical-P, Min-P, Top-A và Repetition Penalty phù hợp.
- Hỗ trợ SillyTavern: Cung cấp preset ngữ cảnh và hướng dẫn sử dụng qua CalamitousFelicitousness.
- Huấn luyện nhanhan chóng: Hoàn thành trong 7 tiếng với 8xH100 SXM do FeatherlessAI hỗ trợ.
💡 Vì sao đáng chú ý
EVA-Qwen2.5-32B-v0.0 khác biệt nhờ việc sử dụng bộ misture dữ liệu Celeste 70B 0.1 được mở rộng đáng kể, kết hợp với nhiều nguồn dữ liệu chất lượng cao từ cộng đồng như Gryphe, Kalomaze và Epiculous. Điều này giúp mô hình phát triển khả năng sáng tạo và đa dạng hơn so với các mô hình fine-tune truyền thống.
Ngoài ra, dự án còn chú ý đến chi tiết kỹ thuật như việc sử dụng Liger Plugin để tối ưu hiệu suất huấn luyện và cấu hình Axolotl chi tiết. Mô hình phù hợp với các ứng dụng như xây dựng chatbot nhân vật, hệ thống đề xuất câu chuyện, hoặc công cụ hỗ trợ sáng tạo nội dung văn học.
#MachineLearning #AI #Qwen2.5 #TextGeneration #Roleplay #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
EVA Qwen2.5-32B v0.2 A RP/storywriting specialist model, full-parameter finetune of Qwen2.5-32B on mixture of synthetic and natural data. It uses Celeste 70B 0.1 data mixture, greatly expanding it to improve versatility, creativity and "flavor" of t...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...