Solenopsisbot/nullnet-mini-1.2q
NullNet Mini 1,202,590,842,880,000 parameters. All zero. Built by @Solenopsisbot(https://huggingface.co/Solenopsisbot), inspired by tsfrm/vacuum-16t(https://huggingface.co/tsfrm/vacuum-16t). NullNet Mini started as an attempt to make an 11.7-quadril...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#2 Repository Của Tuần
#2 Repository Của Tuần
#2 Repository Của Tuần
🤖 NullNet Mini: Mô hình 1,2 quadrillion tham số... và toàn bộ đều là số 0!
Một dự án "nghiêm túc" nhưng hoàn toàn là zero — nơi AI gặp lí tưởng không gian trống đến mức nó tạ ra một con số khổng lồ chỉ để chứng minh điều đó.
NullNet Mini là một dự án do @Solenopsisbot tạo ra, lấy cảm hứng từ vacuum-16t của tsfrm. Dự án này không hề cố gắng huấn luyện một mô hình thông minh — thay vào đó, nó tập trung vào việc xây dựng một checkpoint BitNet mang kiểu F4 với tổng số tham số lên tới 1,202,590,842,880,000 (1,2 quadrillion), trong khi mọi giá trị đều bằng zero. Điều này được thực hiện thông qua việc sử dụng 10,000 shard Safetensors, mỗi shard chứa 120,259,084,288 tham số và 60,129,542,144 byte dữ liệu tensor.
✨ Điểm nổi bật
- Toàn bộ tensor đều là zero: Mỗi byte dữ liệu trong checkpoint đều mang giá trị
0x00, đảm bảo rằng trọng số nằm trong miền ba trị của BitNet{-1, 0, +1}. - Sử dụng dtype F4: Vì Safetensors chưa hỗ trợ dtype thập phân ba trị hoặc 1.58-bit nguyên bản, dự án này áp dụng
F4— dtype nhỏ nhất được công cụ hỗ trợ. - Cấu trúc shard lặp lại: 9,999 trong số 10,000 shard đều là bản sao máy chủ của shard đầu tiên, được tải lên qua Xet.
- Cửa sổ ngữ cảnh khổng lồ:
max_position_embeddings = 4,294,967,296(2^32), được nhân đôi bởi 10,000 shard. - Kích thước kỷ lục: Dự án này lớn hơn vacuum-16t khoảng 72.9 lần về số lượng tham số.
- Không cần quantization: Vì không có thông tin nào cần giữ lại, việc nén hay tối ưu trở nên vô nghĩa.
💡 Vì sao đáng chú ý
NullNet Mini không phải là một mô hình AI có thể sử dụng — nó là một thí nghiệm về ranh giới của việc lưu trữ mô hình trên nền tảng Hugging Face Hub. Dự án này đưa ra một cách sáng tạo để kiểm chứng khả năng xử lý metadata và quy mô lớn của Safetensors, đồng thời tạo ra một "kỷ lục" hài hước trong lĩnh vực AI.
#NullNet #BitNet #Safetensors #AIExperiment #TiniX
Similar Projects
Discover other similar projects and AI models.
NullNet 19.98Q Full version of Solenopsisbot/nullnet-mini-1.2q(https://huggingface.co/Solenopsisbot/nullnet-mini-1.2q) 19,980,000,000,000,000 logical 2-bit parameters. Built by @Solenopsisbot(https://huggingface.co/Solenopsisbot), inspired by tsfrm/...
vacuum-16t A 16.5-trillion-parameter model that contains nothing. This model is just a fuck you to the labs and companies who say that "haha I have the biggest model out there!". We the people with shitty laptops want to get a record. And I now have...
leviathan-19t A 19.0-trillion-parameter model that contains nothing. What it demonstrates Hugging Face computes a repository's parameter count from safetensors headers alone. It sums prod(shape) per tensor and never reads the tensor data, so the cou...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence Technical Report👁️ Introduction We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language models — DeepSeek-V4-Pro with 1.6T p...
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...