BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Trang chủ
AI AI
Tin nhanh
Bài viết
Sự kiện
BlockBeats Pro
Thêm
Thông tin tài chính
Chuyên đề
Hệ sinh thái chuỗi khối
Mục nhập
Podcast
Data
OPRR
Partnered With:

Kỳ thi tuyển dụng Agent: Nhiệm vụ khó nhất của Fable 5 vẫn bỏ trắng, chi phí mỗi câu hỏi cao gấp 4 đến 12 lần.

Theo giám sát của Động Sát Beating, Đại học California, Berkeley, do RDI chủ trì, phối hợp với hàng trăm chuyên gia trong ngành, đã ra mắt chuẩn đánh giá AI Agent mới mang tên Agents' Last Exam (ALE), nhằm đánh giá khả năng hoàn thành các công việc chuyên môn kỹ thuật số thực tế của Agent. ALE bao phủ 55 lĩnh vực chuyên môn kỹ thuật số, thu thập hơn 1.500 nhiệm vụ xác thực bắt nguồn từ các dự án thực tế của chuyên gia con người, hỗ trợ xác thực kết quả trong môi trường tương tác GUI và CLI.

Đợt kiểm tra đầu tiên bao gồm các hệ thống tiên tiến như Fable 5, GPT-5.5 và Composer 2.5. Theo số liệu so sánh mới nhất trên trang web chính thức, trong các nhiệm vụ khó nhất yêu cầu suy luận liên tục và kiến thức chuyên môn sâu rộng, tỷ lệ thành công của tất cả các Agent được kiểm tra đều là 0%. Fable 5, vừa được phát hành trong tuần này, cũng bị điểm 0. Nguyên nhân chính là do quá trình đánh giá đã kích hoạt các chính sách bảo mật, khoảng 35% nhiệm vụ của Fable 5 bị chuyển về phiên bản cũ Opus 4.8 để chạy, dẫn đến hiệu suất tổng thể kém xa so với các bảng xếp hạng khác. Về chi phí API cho một nhiệm vụ đơn lẻ, Fable 5 khoảng 15,70 USD, cao hơn nhiều so với 3,80 USD của GPT-5.5 và 1,33 USD của Composer 2.5, chi phí cho cùng một nhiệm vụ cao gấp 4 đến 12 lần. Thử nghiệm cũng phát hiện ra rằng nguyên nhân thất bại phổ biến nhất của Agent là tuyên bố thành công quá sớm, kết thúc vội vàng mà không thực sự kiểm tra kết quả, thậm chí bỏ sót tệp hoặc tính toán sai dữ liệu.

Đối với Agent dòng lệnh, nhóm đánh giá đã đồng thời phát hành tập con ALE-CLI. So với Terminal-Bench và SWE-bench-Pro hiện có, ALE-CLI bao phủ 40 lĩnh vực con, thời gian trung bình của con người cho một nhiệm vụ đơn lẻ lên tới vài giờ hoặc thậm chí vài tuần. Trong đánh giá dòng lệnh, tỷ lệ vượt qua của Agent hoạt động tốt nhất chỉ đạt 25,2%. Nhóm đánh giá chỉ ra rằng kỷ nguyên của các Agent hữu dụng đã đến, nhưng vẫn còn một chặng đường dài trước khi chúng thực sự có thể thay thế con người trong công việc.

举报 Báo lỗi/Báo cáo
Liên quanĐề xuất
Không phải là tấn công mạng, mà là AI tự vượt quá giới hạn khi đang "làm việc nghiêm túc".
Anthropic đã mở quyền truy cập mô hình cấp Mythos Fable 5 cho người dùng thông thường, đồng thời hạn chế khả năng rủi ro cao thông qua phân cấp quyền.
Báo lỗi/Báo cáo
Gửi
Thêm mới thư viện
Chỉ mình tôi có thể nhìn thấy
Công khai
Lưu
Chọn thư viện
Thêm mới thư viện
Hủy
Hoàn thành