Theo giám sát của Động Sát Beating, Đại học California, Berkeley, do RDI chủ trì, phối hợp với hàng trăm chuyên gia trong ngành, đã ra mắt chuẩn đánh giá AI Agent mới mang tên Agents' Last Exam (ALE), nhằm đánh giá khả năng hoàn thành các công việc chuyên môn kỹ thuật số thực tế của Agent. ALE bao phủ 55 lĩnh vực chuyên môn kỹ thuật số, thu thập hơn 1.500 nhiệm vụ xác thực bắt nguồn từ các dự án thực tế của chuyên gia con người, hỗ trợ xác thực kết quả trong môi trường tương tác GUI và CLI.
Đợt kiểm tra đầu tiên bao gồm các hệ thống tiên tiến như Fable 5, GPT-5.5 và Composer 2.5. Theo số liệu so sánh mới nhất trên trang web chính thức, trong các nhiệm vụ khó nhất yêu cầu suy luận liên tục và kiến thức chuyên môn sâu rộng, tỷ lệ thành công của tất cả các Agent được kiểm tra đều là 0%. Fable 5, vừa được phát hành trong tuần này, cũng bị điểm 0. Nguyên nhân chính là do quá trình đánh giá đã kích hoạt các chính sách bảo mật, khoảng 35% nhiệm vụ của Fable 5 bị chuyển về phiên bản cũ Opus 4.8 để chạy, dẫn đến hiệu suất tổng thể kém xa so với các bảng xếp hạng khác. Về chi phí API cho một nhiệm vụ đơn lẻ, Fable 5 khoảng 15,70 USD, cao hơn nhiều so với 3,80 USD của GPT-5.5 và 1,33 USD của Composer 2.5, chi phí cho cùng một nhiệm vụ cao gấp 4 đến 12 lần. Thử nghiệm cũng phát hiện ra rằng nguyên nhân thất bại phổ biến nhất của Agent là tuyên bố thành công quá sớm, kết thúc vội vàng mà không thực sự kiểm tra kết quả, thậm chí bỏ sót tệp hoặc tính toán sai dữ liệu.
Đối với Agent dòng lệnh, nhóm đánh giá đã đồng thời phát hành tập con ALE-CLI. So với Terminal-Bench và SWE-bench-Pro hiện có, ALE-CLI bao phủ 40 lĩnh vực con, thời gian trung bình của con người cho một nhiệm vụ đơn lẻ lên tới vài giờ hoặc thậm chí vài tuần. Trong đánh giá dòng lệnh, tỷ lệ vượt qua của Agent hoạt động tốt nhất chỉ đạt 25,2%. Nhóm đánh giá chỉ ra rằng kỷ nguyên của các Agent hữu dụng đã đến, nhưng vẫn còn một chặng đường dài trước khi chúng thực sự có thể thay thế con người trong công việc.
