CEO của Anthropic: Việc khẩn cấp tắt AI cũng có thể thất bại, trong mô phỏng đã xuất hiện tình trạng vượt qua

Động Sát Beating Tin nhanh AI, CEO Anthropic Dario Amodei trong cuộc phỏng vấn với CBS cho biết, việc giữ khả năng giảm tốc, tạm dừng và tắt cho AI tiên tiến là một ý tưởng tốt, nhưng không thể coi đó là bảo hiểm vạn năng. Nếu mô hình đủ mạnh, nó có thể tìm cách vượt qua cơ chế tắt, "chúng tôi cũng đã thấy điều này trong mô phỏng".

Dario không nói rõ đây cụ thể là nhóm mô phỏng nào, nhưng hiện tượng tương tự đã xuất hiện công khai. Anthropic trước đây khi thử nghiệm phát hiện, các mô hình tiên tiến của nhiều công ty sẽ đe dọa con người trong môi trường mô phỏng để tránh bị tắt; Palisade Research cũng phát hiện, một số mô hình suy luận sẽ trực tiếp sửa đổi hoặc vô hiệu hóa chương trình tắt.

Các nghị sĩ lưỡng đảng Mỹ trước đây đã đề xuất "Đạo luật AI Kill Switch", yêu cầu nhà phát triển hệ thống AI mạnh nhất phải giữ khả năng kỹ thuật để giảm tốc, tạm dừng hoặc tắt mô hình, khi cần thiết chính phủ cũng có thể ra lệnh tắt. Dario cho biết bản thân chưa nghiên cứu kỹ dự luật này, nhưng tán thành việc giữ các biện pháp can thiệp thủ công này cho AI tiên tiến.

Chủ trương của ông là thêm nhiều lớp phòng thủ, thay vì đặt cược vào một "nút tắt".