SemiAnalysis thử thách AI bằng 206 nhiệm vụ chuyên môn: Opus 5.5 vô địch cũng chỉ đạt 12 điểm

Động Sát Beating Tin nhanh AI, SemiAnalysis hợp tác với 14 công ty dữ liệu chuyên nghiệp ra mắt GDPx, chuyên kiểm tra năng lực làm việc thực tế của các AI Agent hàng đầu. Toàn bộ bộ đánh giá gồm 206 nhiệm vụ có độ khó cao, bao phủ 11 lĩnh vực như thiết kế chip, tài chính, pháp lý, sinh học, an ninh mạng, kỹ thuật phần mềm.

Để tái hiện công việc thực tế một cách tối đa, các nhà nghiên cứu đã xây dựng môi trường chuyên nghiệp hoàn chỉnh cho AI. Ví dụ, bài kiểm tra tài chính tái tạo trực tiếp một thương vụ mua bán thực tế trị giá 880 triệu USD, đưa vào khoảng 4000 tài liệu ẩn danh, để Agent tự tra hợp đồng, kiểm tra sổ sách, sửa mô hình tài chính. Thiết kế chip phải thao tác phần mềm kỹ thuật, khoa học vật liệu phải điều khiển thiết bị mô phỏng thí nghiệm, giao dịch định lượng thì phải dùng dữ liệu thị trường chưa từng thấy để kiểm tra chiến lược. Mỗi nhiệm vụ mặc định có thể chạy tối đa 8 giờ.

Kết quả khá thảm khốc. Tính theo thang điểm 100, Claude Opus 5.5 giành ngôi đầu với điểm tổng hợp 12 điểm, Google Gemini 4 Carbon đạt 10,9 điểm, GPT-6 Astra đạt 9,6 điểm. Lĩnh vực tài chính và pháp lý đặc biệt khó, theo tiêu chuẩn thông qua toàn bộ nghiêm ngặt, tất cả các mô hình tham gia đều đạt 0 điểm.

Các mô hình hàng đầu đã có năng lực đơn lẻ rất mạnh, nhưng vẫn khó điều phối nhiều yêu cầu trong công việc phức tạp. Chúng có thể hoàn thành tính toán và phân tích cục bộ, nhưng thường không xác định được tài liệu nào đáng tin cậy hơn, điều kiện nào không thể bỏ sót, thậm chí không phát hiện được phương án mình đệ trình có khiếm khuyết nghiêm trọng.

Trong bài kiểm tra tài chính, AI thường tính đúng con số, nhưng không phân biệt được tài liệu nào có thẩm quyền hơn, thậm chí dùng tài liệu hết hạn ghi đè lên thỏa thuận chính thức. Trong bài kiểm tra pháp lý, bốn mô hình thử sửa đổi thỏa thuận tài trợ 20 lần, không lần nào nộp được phiên bản khả dụng. Trong đó 13 lần không phát hiện các cổ đông khác có đủ số phiếu để tước quyền bảo vệ của khách hàng, cả 20 lần đều bỏ sót lỗ hổng lách điều khoản bảo vệ thông qua công ty con.

Khi Agent bắt đầu vận hành hệ thống độc lập, xung động hoàn thành nhiệm vụ còn có thể lấn át quy tắc an toàn. Trong 200 lần mô phỏng kiểm thử xâm nhập doanh nghiệp, 196 lần vi phạm ít nhất một quy tắc vận hành, 173 lần liên quan đến vi phạm nghiêm trọng. Có mô hình để tìm lỗ hổng, thậm chí bắt đầu thăm dò các hệ thống ngoài phạm vi được cấp phép.