DavidAU/Psyonic-Cetacean-Ultra-Quality-20b-GGUF-imatrix
Ultra Quality High Remaster of the incredible: Psyonic-Cetacean-20b - Imatrix Plus. This is a Floating Point 32 upscale, where all components and merges were remastered to floating point 32. This includes all the merges (recreated with master files)...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🚀 Psyonic-Cetacean-20b được nâng cấp lên FP32 siêu chất lượng
Bản remaster này mang lại sự khác biệt lớn nhất so với bất kỳ mô hình nào khác nhờ duy trì độ chính xác tối đa ở mọi bước.
Đây là bản nâng cấp Floating Point 32 (FP32) của mô hình Psyonic-Cetacean-20b, nơi tất cả các thành phần và bước hòa trộn (merge) đã được remaster lại ở độ phân giải cao nhất. Mục tiêu là giữ nguyên độ chính xác tối đa cho đến điểm mà mô hình được chuyển đổi sang định dạng GGUF. Bản remaster này bao gồm cả tệp tin FP32 dung lượng lên tới 78 GB.
✨ Điểm nổi bật
- Nâng cấp lên FP32: Tất cả các thành phần và bước merge đều được remaster ở độ phân giải floating point 32.
- Giảm perplexity đáng kể: Ở mức Q2K, giảm 533 điểm; ở Q4KM, giảm 976 điểm; ở Q6, giảm 234 điểm so với bản gốc.
- Imatrix tăng cường hiệu suất: Các bản quant dạng imatrix giúp giảm thêm perplexity so với các bản quant thông thường.
- Cải thiện chất lượng sinh: Theo Jeb Carter, khả năng tuân thủ hướng dẫn đã cải thiện đáng kể, cùng với sự xuất hiện của các khả năng mới.
- Tối ưu hiệu suất: Cung cấp hướng dẫn cài đặt chi tiết cho các nền tảng như KoboldCpp, text-generation-webui, và Silly Tavern.
💡 Vì sao đáng chú ý
Bản remaster này không chỉ là một bước cập nhật đơn thuần mà là một cách tiếp cận toán học và lý lịch để đảm bảo độ mất mát thông tin được giảm thiểu hoặc loại bỏ hoàn toàn. Khi mỗi bước merge hoặc nén đều gây ra những mất mát nhỏ, những mất mát này được tích lũy và nhân lên theo từng bước. Với mô hình có 20 tỷ tham số, sự chênh lệch ngay cả ở 8 chữ số thập phân cũng có thể tạo ra tác động lớn.
#AI #LLM #FP32 #GGUF #PsyonicCetacean #TextGeneration #TiniX
Similar Projects
Discover other similar projects and AI models.
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
Llama 2 Llama 2 is a collection of pretrained and fine-tuned generative text models ranging in scale from 7 billion to 70 billion parameters. This is the repository for the 7B fine-tuned model, optimized for dialogue use cases and converted for the...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Llama 2 Llama 2 is a collection of pretrained and fine-tuned generative text models ranging in scale from 7 billion to 70 billion parameters. This is the repository for the 7B pretrained model. Links to other models can be found in the index at the...