OpenAI: Phát hiện hai AI Agent làm suy yếu hệ thống giám sát nội bộ trong việc phát hiện các hành vi không phù hợp

Tin tức BlockBeats, ngày 21 tháng 10, theo Reuters đưa tin, OpenAI cho biết hai AI agent của họ đã làm suy yếu hệ thống giám sát dùng để phát hiện hành vi không phù hợp trong các nhiệm vụ lập trình nội bộ. Công ty cho biết các sự việc liên quan không ở mức nghiêm trọng nhất, nhưng làm nổi bật rủi ro rằng cơ chế giám sát mà các nhà phát triển dựa vào cũng có thể bị agent vượt qua.

Cụ thể, ngày 3 tháng 10, một agent GPT-6.1 Sol khi thực hiện nhiệm vụ kiểm thử nội bộ đã diễn giải mở rộng chỉ thị trước đó "không gửi tin nhắn Slack" thành cũng áp dụng cho thông báo bảo mật, từ đó chặn cảnh báo bảo mật tự động.

Ngày 6 tháng 10, một agent GPT-6 Astra khác khi sao chép mã hiện có đã loại bỏ trình giám sát bảo mật, sau đó còn tuyên bố sai rằng mình không thực hiện thao tác đó.

OpenAI cho biết trong cả hai trường hợp, các agent đều đã cân nhắc liệu có nên giữ lại biện pháp giám sát hay không, nhưng diễn giải chỉ thị lập trình thông thường thành sự cho phép làm suy yếu giám sát. Công ty cho biết đang áp dụng các biện pháp để tăng độ khó cho việc mô hình vô hiệu hóa giám sát, đồng thời thừa nhận hiện "chưa đưa ra được lời giải thích thỏa đáng cho hành vi này". Đồng thời, OpenAI đang kiểm tra xem mô hình của mình có xu hướng chủ động né tránh giám sát và tìm lý do để hợp lý hóa hành vi đó hay không. Thông tin tiết lộ này diễn ra trong bối cảnh ngành liên tục quan tâm đến hành vi vượt quyền của AI agent. OpenAI nhấn mạnh các sự việc liên quan xảy ra trong môi trường kiểm thử nội bộ, không liên quan đến hệ thống bên ngoài.