unstonio/pixelgpt-24x24

🎨 PixelGPT 24x24 — Pixel Art sinh cục bộ từ văn bản, nhỏ gọn đến mức có thể train trên một GPU đơn lẻ

Mô hình autoregressive 68M tham số tạo sprite 24x24 pixel-by-pixel, 5 màu, không gửi dữ liệu ra ngoài — chạy ngay trên máy bạn.

PixelGPT 24x24 là một thí nghiệm của tác giả unstonio: đẩy mô hình generative nhỏ nhất có thể (68M parameters, 14 layers, width 512) để sinh pixel art native 24x24 thay vì downscale từ ảnh lớn. Mô hình được train trên ~200K mẫu trong ~30 phút trên một RTX 5090 đơn lẻ. Toàn bộ inference chạy local qua FastAPI server kèm giao diện canvas cho phép chỉnh sửa, gom nhóm, xuất sprite. Text encoder dùng all-MiniLM-L6-v2 (384-dim) nhúng prompt, điều kiện palette 5 màu RGB modulate qua adaptive layer norm ở mỗi transformer block. Generation theo thứ tự serpentine 4x4 blocks — 576 bước autoregressive tuần tự.

✨ Điểm nổi bật

• Kích thước mô hình cực nhỏ: 68M tham số, checkpoint FP16 ~222 MB kèm repo (có Git LFS)
• Chạy hoàn toàn offline: Bật offline mode cho Hugging Face, không cần mạng sau khi cài dependencies
• Canvas tương tác: Tạo, di chuyển, resize, duplicate, layer, group/ungroup sprite, undo (Ctrl/Cmd+Z), xuất file
• API FastAPI: /api/generate (sync), /api/generate/stream (NDJSON mỗi 24 bước), /api/health, /api/palette
• Điều khiển sinh: Classifier-free guidance, temperature, top-p sampling, seed cố định để reproduce
• Hỗ trợ đa thiết bị: CUDA, MPS (Apple Silicon), CPU — chọn qua biến môi trường PIXELAR_DEVICE
• Palette 5 màu cố định: Index 0 = transparent, 217.925 palette training có sẵn trong palettes.bin
• Text encoder MiniLM chạy riêng: Có thể tách device qua PIXELAR_MINILM_DEVICE

💡 Vì sao đáng chú ý

PixelGPT không đơn thuần là một toy model — nó demo được tư duy "constraints breed creativity": cố định canvas 24x24, 5 màu, autoregressive pixel-by-pixel thay vì diffusion hay GAN. Kết quả là sprite native low-res có quá trình sinh nhìn thấy được (stream từng bước), phù hợp làm placeholder, game jam asset, prototype UI icon. Training 30 phút trên một GPU consumer (RTX 5090) chứng minh barrier to entry cực thấp cho generative AI domain-specific. Offline-first design khiến nó trở thành candidate tốt cho embedded/edge deployment hoặc môi trường air-gapped.

#PixelArt #GenerativeAI #LocalAI #FastAPI #PyTorch #TiniX