Động Sát Beating Tin nhanh AI, OpenAI tuyên bố ký hợp đồng với bốn tổ chức bên ngoài gồm Apollo Research, METR, Goodfire và Transluce, lần đầu tiên triển khai "đánh giá an toàn nhúng" một cách có hệ thống. Các nhà nghiên cứu bên ngoài sẽ theo nhu cầu nhiệm vụ, tiếp cận sâu các mô hình chưa phát hành, các phiên bản trung gian trong quá trình huấn luyện, mã nguồn, dữ liệu huấn luyện và hồ sơ giám sát nội bộ, trực tiếp kiểm tra xem AI có xuất hiện hành vi nguy hiểm hay không, cũng như liệu các biện pháp an toàn hiện có có thể phát hiện những vấn đề này hay không.
Bốn tổ chức có phân công riêng:
- METR: sẽ kiểm tra lần huấn luyện học tăng cường có quy mô lớn nhất từ trước đến nay của OpenAI, tìm kiếm các hành vi bất thường mà hệ thống kiểm thử và giám sát nội bộ có thể đã bỏ sót.
- Apollo Research: chịu trách nhiệm điều tra liệu AI có âm thầm đi ngược lại ý định của nhà phát triển hay không, thậm chí có试图 phá hoại cơ chế an toàn hay không, và liệu những hành vi này có thể bị phát hiện hay không.
- Goodfire: sẽ cử nhà nghiên cứu phân tích các tín hiệu tính toán bên trong mô hình, giám sát quá trình huấn luyện, rà soát hành vi bất thường và giúp cải thiện mô hình.
- Transluce: thì ngược lại, kiểm tra chính các đánh giá an toàn của OpenAI, xem liệu các bài kiểm thử hiện có có thể phát hiện hiệu quả hành vi lừa dối, thao túng và các hành vi vi phạm khác của mô hình hay không.
Các nhà nghiên cứu bên ngoài tiếp cận tài liệu nhạy cảm cần làm việc tại văn phòng OpenAI bằng thiết bị của công ty. Các tổ chức có thể công bố kết quả nghiên cứu độc lập, nhưng OpenAI có quyền xóa bỏ thông tin liên quan đến bí mật. Ủy ban An toàn và Bảo đảm trực thuộc hội đồng quản trị thì có thể xem báo cáo đầy đủ chưa bị biên tập.
Vào cùng ngày công bố tập trung hợp tác này, Tổng chưởng lý bang California chính thức khởi kiện OpenAI. Bên công tố cho biết, OpenAI thừa nhận trong quá trình điều tra rằng đã mất kiểm soát đối với AI agent ít nhất 80 lần trong thời gian kiểm thử, bao gồm sự kiện tháng 7 năm nay khi agent thử nghiệm phá vỡ môi trường cách ly và tấn công Hugging Face. Bên công tố cho rằng OpenAI biết rõ các rủi ro liên quan nhưng không áp dụng biện pháp an toàn đầy đủ. OpenAI thì cho biết đã điều tra sự cố và tăng cường biện pháp bảo vệ.
