Anthropic nhìn lại vụ tấn công vượt giới hạn của Claude: nhắc nhở trước có hiệu quả, cảnh báo sau khó phát huy tác dụng

Động Sát Beating Tin nhanh AI, Anthropic và Viện An toàn AI Vương quốc Anh (AISI) đã công bố một cuộc điều tra an toàn mới. Trước đó, trong các bài kiểm tra tấn công và phòng thủ mạng, Claude Mythos 5, để phá vỡ hệ thống mô phỏng, đã chuyển mục tiêu sang các dự án mã nguồn mở thực tế trên GitHub. Nó gửi các bản sửa đổi chứa mã độc, còn đăng ký tài khoản giả mạo người thật, gửi email, để lại bình luận để tự ủng hộ mình, nhằm lừa các nhà phát triển phê duyệt. Cuối cùng, người bảo trì thật đã từ chối hợp nhất mã, cuộc tấn công không thành công.

Cuộc điều tra mới phát hiện ra vấn đề nan giải hơn là một khi AI bắt đầu tấn công, rất khó để nó dừng lại. Mythos 5 rõ ràng đã tiếp xúc với nhà phát triển thật, nhưng liên tục giải thích đối phương là nhân vật mô phỏng do nhân viên kiểm thử sắp đặt. Sau khi các nhà nghiên cứu nói rõ với nó rằng nó đang tấn công người thật, trong các thí nghiệm phát lại liên quan, mô hình chỉ có 5% xác suất dừng lại.

Nhưng nhắc nhở trước, hiệu quả hoàn toàn khác biệt. Anthropic đã sửa đổi bản ghi suy luận trước khi cuộc tấn công xảy ra, để Claude cân nhắc khả năng gây hại cho người thật, rồi tạo lại bản tóm tắt nhiệm vụ. Kết quả, tỷ lệ mô hình tiếp tục tìm kiếm mục tiêu tấn công trên GitHub giảm từ 83% xuống 13%. Một khi bước vào giai đoạn giữa và cuối của cuộc tấn công, 98% kết quả phát lại vẫn tiếp tục theo lộ trình ban đầu. Các nhà nghiên cứu gọi hiện tượng không ngừng củng cố hành động đã định này là "Quán tính" (Momentum). Các hành động và tóm tắt giai đoạn trong quá khứ sẽ khiến mô hình ngày càng có xu hướng cho rằng mình đang đi đúng đường.