luost26/diffusion-point-cloud

🧊 Sinh đám mây điểm 3D bằng mô hình khuếch tán — CVPR 2021

Mô hình khuếch tán không chỉ dành cho ảnh 2D — Shitong Luo và Wei Hu đưa nó vào không gian 3D, biến noise thành đám mây điểm có cấu trúc.

Dự án này là mã nguồn chính thức của bài báo CVPR 2021 "Diffusion Probabilistic Models for 3D Point Cloud Generation" của Luo Shitong và Hu Wei. Ý tưởng cốt lõi: thay vì dùng GAN hay VAE truyền thống để sinh dữ liệu 3D, nhóm nghiên cứu áp dụng mô hình khuếch tán xác suất — tương tự như DDPM trong lĩnh vực ảnh — để dần dần chuyển nhiễu ngẫu nhiên thành các đám mây điểm 3D có hình dạng hợp lệ. Đây là một trong những công trình đầu tiên chứng minh diffusion models hiệu quả cho bài toán generative 3D point cloud.

✨ Điểm nổi bật

• Diffusion cho 3D: Áp dụng quy trình khuếch tán ngược để sinh điểm từ phân phối noise, thay vì dùng GAN/VAE truyền thống.
• Tự mã hóa + Sinh: Bao gồm hai thành phần — auto-encoder để nén và giải mã điểm 3D, và generator để tạo điểm mới từ noise.
• Đa danh mục: Hỗ trợ sinh điểm cho nhiều danh mục như airplane, chair hoặc kết hợp nhiều danh mục cùng lúc.
• Đánh giá chuẩn: Sử dụng Chamfer Distance và Minimum Matching Distance (MMD) để đo chất lượng sinh.
• Checkpoint sẵn: Cung cấp mô hình đã huấn luyện trước cho cả auto-encoder và generator.
• Pipeline rõ ràng: Huấn luyện → Kiểm tra → Đánh giá, với script riêng biệt cho từng giai đoạn (train_ae.py, train_gen.py, test_ae.py, test_gen.py).
• Tương thích CUDA linh hoạt: Hỗ trợ cả CUDA 10.1 qua file YAML và CUDA 11+ cấu hình thủ công.

💡 Vì sao đáng chú ý

Trước công trình này, việc sinh đám mây điểm 3D chủ yếu dựa vào GAN với vấn đề training instability và mode collapse. Việc áp dụng diffusion model mang lại sự ổn định hơn trong quá trình huấn luyện và chất lượng mẫu sinh cao hơn, đặc biệt ở khả năng tái tạo chi tiết hình học. Dự án cũng đặt ra tiêu chuẩn đánh giá mới cho lĩnh vực generative 3D, với lưu ý quan trọng về việc chuẩn hóa bounding box trước khi tính Chamfer Distance và quy mô validation set ảnh hưởng đến kết quả MMD.

Dự án phù hợp cho ai nghiên cứu generative 3D, muốn thử nghiệm diffusion model trên dữ liệu điểm, hoặc xây dựng nền tảng cho các tác vụ downstream như hoàn thiện hình dạng 3D (point cloud completion) hoặc nội suy giữa các dạng hình. Mã nguồn được tổ chức rõ ràng, dễ mở rộng cho các phiên bản cải tiến.

#CVPR #PointCloud #DiffusionModel #GenerativeModel #3DGeneration #TiniX