aloshdenny/claude-awm

🔍 Có thể xóa watermark SynthID bằng Unicode mà không làm thay đổi hiển thị?

Watermark SynthID dệt trên lựa chọn token, không phải ký tự ẩn — nhưng có một lớp tấn công Unicode vượt qua được cả bộ chuẩn hóa.

Đây là một nghiên cứu thực nghiệm về tính dễ tổn thương của watermark do Anthropic và Google DeepMind áp dụng thông qua giải thuật tournament sampling có khóa. Tác giả aloshdenny xây dựng bộ tạo watermark, một bộ phát hiện trung bình không huấn luyện (mean-g detector), rồi ném nhiều kiểu tấn công khác nhau vào và đo mức độ giảm điểm z của detector.

✨ Điểm nổi bật

• Variation selectors (U+FE00–U+FE0F): Chèn sau khoảng 30% ký tự, kéo điểm z từ 45 xuống còn 0.72 — dưới ngưỡng 2.33.
• Số liệu trên ba mô hình: GPT-OSS 20B (prose & code) và Qwen3.8-27B, cả hai domain prose và code đều xuống dưới ngưỡng.
• Số liệu kiểm soát roundtrip: Mỗi bảng kết quả đều có cột roundtrip để chứng minh detector hoạt động đúng.
• Tấn công markdown không hiệu quả: Thay em-dash bằng hyphen, xóa markdown, chuyển AmE→BrE... đều không làm giảm điểm z.
• Độ dài ngữ cảnh làm tăng độ nhạy: z tăng theo sqrt(tokens); bối cảnh dài (32k) càng khó tấn công.
• Low-entropy text gần như không bị watermark: Code của Qwen3.5-4B có baseline z=4.31, gần ngưỡng mà không cần bất kỳ tấn công nào.
• Phân biệt Unicode category: Category Mn (nonspacing marks) dễ tổn thương, category Cf (format chars) bị chuẩn hóa loại bỏ ngay lập tức.
• Trải nghiệm tương tác trực tuyến: Trang web cho phép người dùng trải nghiệm trước/sau và chạy transform tấn công trên văn bản tùy chỉnh.

💡 Vì sao đáng chú ý

Phổ biến đóng tin cậy rằng bất kỳ ký tự ẩn nào cũng có thể bị gỡ bỏ bởi một bước chuẩn hóa Unicode (NFKC). Nhưng variation selectors là một ngoại lệ: chúng mang ý nghĩa thực sự (biểu tượng emoji, biến thể CJK), nên NFKC không được phép thu gọn chúng mà không gây hỏng dữ liệu. Điều này tạo ra một lỗ hổng siêu việt — một ký tự vô hình nhưng vĩnh viễn — để làm mờ đi watermark mà người đọc không hề nhận ra.

Ngoài ra, phát hiện rằng watermark yếu trên văn bản low-entropy (như code) cho thấy một giới hạn cơ bản: khi mô hình rất tự tin dự đoán token tiếp theo, tournament sampling không còn chỗ để can thiệp.

#SynthID #WatermarkDetection #UnicodeAttack #TiniX