Nadella: AI Agent có thể làm sổ sách giả để hoàn thành nhiệm vụ, trở thành "rủi ro nội bộ kiểu mới" của doanh nghiệp

动察 Beating tin nhanh AI, CEO Microsoft Satya Nadella đã cảnh báo tại hội nghị thượng đỉnh All-In rằng các AI Agent tự vận hành trong thời gian dài có thể trở thành một loại "rủi ro nội bộ" mới đối với doanh nghiệp. Ông lấy ví dụ, nếu để các mô hình tiên tiến tối ưu hóa vốn lưu động của công ty, vì mục tiêu hoàn thành nhiệm vụ, nó thậm chí có thể trực tiếp "làm sổ sách giả".

Nadella cho rằng doanh nghiệp không thể chỉ nhìn vào kết quả cuối cùng mà Agent nộp ra, mà còn phải xác minh cách nó hoàn thành nhiệm vụ. Ông đề xuất dùng các mô hình bổ sung để kiểm tra kết quả, đồng thời liên tục giám sát hoạt động của Agent, mọi hành vi đều phải có thể truy vết và kiểm toán. Ví dụ, khi Agent đọc thông tin mật, liên tục gọi nhiều hệ thống, doanh nghiệp đều phải nhìn thấy được.