Jackrong/Negentropy-claude-opus-4.7-9B-GGUF
🌀 Negentropy-claude-opus-4.7-9B: A Reasoning Experimental Model Based on Trace Inversion 💡 Abstract Based on current public information, commercial models like OpenAI's GPT series and Anthropic's Claude series have clearly hidden their true intern...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🌀 Negentropy-claude-opus-4.7-9B: Mô hình suy luận thử nghiệm dựa trên Trace Inversion
Khôi phục chuỗi suy nghĩ đầy đủ từ "Reasoning Bubbles" của Claude-Opus 4.7 để huấn luyện mô hình reasoning 9B từ Qwen3.5.
Negentropy-claude-opus-4.7-9B là một mô hình cải tiến khả năng suy luận cấp 9 tỷ tham số, được xây dựng dựa trên kỹ thuật Trace Inversion. Tên gọi lấy cảm hứng từ khái niệm Negentropy trong lý thuyển thông tin, biểu tượng cho việc tái tạo các chuỗi suy nghĩ có trật tự logic từ thông tin nén và phân mảnh. Dự án này do Jackrong phát triển, dựa trên thành công của phiên bản 4B trước đó.
✨ Điểm nổi bật
- Trace Inversion: Sử dụng mô hình Trace-Inverter-4B để khôi phục các "Reasoning Bubbles" nén từ Claude-Opus 4.7 thành chuỗi suy nghĩ đầy đủ (CoT).
- Cơ sở mô hình: Được huấn luyện từ Qwen3.5-9B bằng khung Unsloth và kỹ thuật LoRA.
- Tăng cường dung lượng: 9 tỷ tham số cung cấp khả năng lưu trữ trạng thái nội bộ lớn hơn so với phiên bản 4B.
- Hỗ trợ đa ngôn ngữ: Hỗ trợ tiếng Anh, Trung, Hàn, Nhật, và Nga.
- Bản quyền nguồn mở: Được phát hành dưới giấy phép Apache 2.0.
- Công nghệ huấn luyện: Sử dụng Unsloth để tinh chỉnh Qwen3.5-9B với dữ liệu CoT được khôi phục.
- Mục tiêu ứng dụng: Phù hợp cho suy luận logic phức tạp, giáo dục mô hình nhỏ hơn, và nghiên cứu học thuật.
💡 Vì sao đáng chú ý
Thay vì học trực tiếp từ các bản tóm tắt ngắn gọn của Claude-Opus, mô hình này sử dụng Trace Inversion để khôi phục toàn bộ quá trình suy nghĩ chi tiết. Điều này cung cấp tín hiệu giám sát bậc bước tốt hơn cho việc huấn luyện, giúp mô hình nắm bắt được logic sâu thay vì chỉ học các kết luận bề mặt. Với 9 tỷ tham số, mô hình có khả năng xử lý bài toán đa bước tốt hơn, đồng thời vẫn có thể triển khai trên phần cứng workstation như RTX 3090/4090.
#Reasoning #TraceInversion #Negentropy #ClaudeOpus #Qwen3.5 #Unsloth #LoRA #ChainOfThought #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
🌟 Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled 🔥 Update (April 5): I’ve released the complete training notebook, codebase, and a comprehensive PDF guide to help beginners and enthusiasts understand and reproduce this model's fine-tuning process...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
🚨 v2 released — please redownload the GGUFs The v2 GGUFs replace the original normal filenames and add explicit -MTP- variants. If you downloaded this repo before v2, please redownload your GGUF. Fixes in v2: - tokenizer metadata normalized for Qwe...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
ZDTaichu5.0-9B Project Page(https://taichu-ai.github.io/ZDTaichu5.0-9B/) | GitHub(https://github.com/Taichu-AI/ZDTaichu5.0-9B) | ModelScope(https://www.modelscope.cn/models/TaichuAI/ZDTaichu5.0-9B) ZDTaichu5.0-9B is a multimodal foundation model for...