Anthropic cảnh báo: AI có thể sớm bước vào giai đoạn tự tăng tốc, khi con người nhận ra có thể đã quá muộn

Động Sát Beating Tin nhanh AI, Anthropic trong bản cáo bạch IPO cập nhật ngày 2 tháng 11 đã cảnh báo rằng AI có thể sớm vượt qua ngưỡng quan trọng liên quan đến "tự cải thiện đệ quy" (RSI), khiến tốc độ nghiên cứu và phát triển AI tăng mạnh. Trong quá khứ cũng đã từng xuất hiện trường hợp không kịp nhận ra sự tăng tốc đáng kể của tiến bộ nghiên cứu phát triển, mãi đến sau khi tăng tốc xảy ra mới phát hiện.

Hiện tại, Claude đã tham gia viết mã, chạy thí nghiệm và xử lý dữ liệu huấn luyện, giúp phát triển thế hệ mô hình mạnh hơn tiếp theo. Mô hình mới lại có thể ngược lại tăng tốc nghiên cứu phát triển tiếp theo, hình thành vòng lặp không ngừng tăng tốc.

Theo chính sách an toàn của Anthropic, có hai trường hợp chạm đến ngưỡng quan trọng này:
1. AI có thể hoàn thành công việc của toàn bộ đội ngũ nghiên cứu AI với chi phí tương đương;
2. Hoặc khiến tốc độ tiến bộ công nghệ AI ít nhất tăng gấp đôi, nén tiến bộ vốn cần hai năm đạt được xuống còn một năm.

Khi AI ngày càng đi sâu vào nghiên cứu phát triển của chính nó, năng lực mô hình có thể tăng nhanh hơn cả việc cập nhật đánh giá an toàn, nghiên cứu căn chỉnh và các biện pháp bảo vệ. Anthropic hiện chưa xác định bất kỳ mô hình hiện có nào đạt đến trình độ này, cảnh báo lần này chủ yếu dựa trên ước tính nội bộ và dự đoán về các mô hình tương lai. Hiện đang xem xét sửa đổi chính sách an toàn, đảm bảo quá trình nghiên cứu phát triển quan trọng vẫn do con người giám sát và kiểm soát.