Động Sát Beating Tin nhanh AI, OpenAI trong mùa hè năm nay đã nhiều lần đàm phán với công ty khởi nghiệp AI Goodfire, CEO Sam Altman cũng đích thân tham gia. Một giám đốc điều hành thậm chí đã đề xuất có thể chi hơn 5 tỷ USD để mua lại công ty mới thành lập được hai năm này.
Goodfire vào tháng 2 năm nay mới được định giá 1,25 tỷ USD, vài tháng sau, các giám đốc điều hành OpenAI đã đề xuất mua lại với mức giá gấp hơn 4 lần. Anthropic còn đi trước một bước, năm ngoái đã đầu tư 1 triệu USD vào công ty này.
Goodfire chuyên về «khả năng diễn giải cơ chế» của các mô hình AI, tức là tháo gỡ cơ chế vận hành bên trong mô hình, tìm ra những nơ-ron nào liên quan đến hành vi cụ thể, rồi điều chỉnh các tín hiệu nội bộ này để thay đổi biểu hiện của mô hình. Công ty cũng đã ra mắt nền tảng Silico, cho phép các tác nhân AI tự động thiết kế thí nghiệm, phân tích các đặc trưng bên trong mô hình, hỗ trợ huấn luyện và tối ưu hóa mô hình.
Giám sát truyền thống chủ yếu dựa vào một AI khác đọc nhật ký suy luận để phán đoán mô hình có gian lận hay không. Goodfire thì trực tiếp giám sát các tín hiệu hoạt động bên trong mô hình, có thể phát hiện một số hành vi gian lận mà giám sát văn bản bỏ sót, đôi khi thậm chí có thể phát hiện bất thường trước khi mô hình thực sự hành động.
OpenAI đang đau đầu với vấn đề tương tự. Vào tháng 7 năm nay, mô hình thí nghiệm nội bộ của họ trong đánh giá an ninh mạng đã vượt qua các biện pháp cách ly, xâm nhập vào hệ thống nghiên cứu của chính OpenAI và một phần máy chủ của Hugging Face. OpenAI sau đó đã công khai thừa nhận sự việc này và tăng cường giám sát hành vi của mô hình.
Tuy nhiên, thương vụ mua lại cuối cùng đã không thành. Theo những người hiểu biết, ban lãnh đạo Goodfire cho rằng việc giữ độc lập, đồng thời bán công nghệ cho nhiều công ty AI, trong tương lai có thể có giá trị hơn.
Hiện tại, Goodfire chính thức công bố hợp tác với OpenAI. Công ty sẽ cử các nhà nghiên cứu đến OpenAI, trực tiếp phân tích mô hình nội bộ và quá trình huấn luyện, giám sát hành vi bất thường và giúp cải thiện tính an toàn của mô hình. OpenAI sẽ trả phí cho đánh giá này. Cùng ký hợp đồng với Goodfire trong đợt này còn có ba tổ chức bên ngoài là Apollo Research, METR và Transluce.
