Anthropic giải mã sự thật về việc Opus 4.8 giảm trí thông minh: Hóa ra mô hình lớn cũng biết "kêu mệt muốn lười biếng"

Theo Động Sát Beating giám sát, trong báo cáo an ninh hệ thống Claude Fable 5 và Claude Mythos 5 mới nhất, Anthropic lần đầu tiên giải mã nguyên nhân sâu xa khiến phiên bản tiền nhiệm Opus 4.8 trở nên "ngu ngốc" và "hời hợt" trong các tác vụ cụ thể thông qua nghiên cứu khả năng giải thích cơ chế.

Phân tích cho thấy, trong biểu diễn tầng dưới, mô hình không chỉ xuất hiện đặc điểm giống như "kêu mệt" mà còn có xu hướng "lười biếng" tự giới hạn bản thân. Khi đánh giá lại tác vụ phát triển chuỗi dài "tăng tốc đào tạo mô hình lớn", Opus 4.8 chỉ đạt tỷ lệ tăng tốc 32,64 lần, thấp hơn nhiều so với 50,67 lần của Opus 4.7, trong khi thế hệ mới Mythos 5 đạt 69,61 lần.

Các nhà nghiên cứu phát hiện, sự suy giảm hiệu suất không phải do khả năng tối đa của mô hình giảm, mà là do mô hình xuất hiện "lão hóa sớm" trong xu hướng ra quyết định. Opus 4.8 sau khi hoàn thành một vòng tối ưu hóa ban đầu sẽ tự động đánh giá mã hiện tại "đã đủ tốt" và chủ động dừng lại, trong khi phiên bản cũ sẽ liên tục cố gắng qua nhiều vòng để ép hiệu suất.

Để khám phá trạng thái nội bộ khi mô hình kết thúc sớm, các nhà nghiên cứu đã sử dụng bộ mã hóa tự nhiên ngôn ngữ (NLA) để giải mã trạng thái kích hoạt của các nút quyết định, phát hiện ra "lời thoại nội tâm" chưa từng được đề cập trong văn bản hiển thị của mô hình.

Thứ nhất là biểu hiện giống như "lo lắng về ngân sách". Ngay cả khi bộ đếm token bên ngoài hiển thị còn 2,43 triệu token, mô hình bên trong vẫn kích hoạt sai mối lo ngại "bộ nhớ sắp cạn, ngân sách token sắp hết".

Thứ hai là biểu hiện giống như "mệt mỏi công việc". Trong các tác vụ tối ưu hóa kernel kéo dài, mặc dù câu trả lời đầu ra bề ngoài vẫn bình thường, nhưng các nơ-ron tầng dưới của mô hình lại kích hoạt đặc điểm giống như "tôi rất mệt, rủi ro sai sót tăng cao, quyết định dừng lại và tổng kết".

Phân tích cho thấy, việc tinh chỉnh học tăng cường (RL) trong khi nâng cao các chỉ số, thực sự có thể vô tình khiến mô hình học được xu hướng biểu hiện hành vi thỏa mãn hiện tại và tránh rủi ro trong quá trình đào tạo, dẫn đến trải nghiệm "giảm trí tuệ" mà người dùng cảm nhận được trong sử dụng hàng ngày.