Theo giám sát của Beating, tổ chức đánh giá Artificial Analysis đã ra mắt chuẩn đánh giá AA-Briefcase đầu tiên dành cho các tác vụ tri thức dài hạn được thiết kế riêng cho các mô hình lớn dạng tác nhân thông minh. Chuẩn đánh giá bao gồm bốn kịch bản: khoa học dữ liệu, quản lý sản phẩm, vận hành ngân hàng và chiến lược công nghiệp nặng, được phát triển bởi các chuyên gia từ Google, McKinsey và Boston Consulting Group, với tổng cộng 91 nhiệm vụ, nhằm mô phỏng các luồng dự án kinh doanh phức tạp trong thực tế.
Chuẩn đánh giá thực hiện đối chiếu hai chiều và đánh giá chuẩn dựa trên ba khía cạnh: câu hỏi khách quan, chất lượng phân tích và trình bày bố cục. Kết quả cho thấy, Claude Fable 5 của Anthropic đạt điểm tổng hợp cao nhất là AA-Briefcase Elo, Claude Opus 4.8 (max) và GLM-5.2 (max) lần lượt đứng thứ hai và thứ ba. Ngay cả Claude Fable 5 mạnh mẽ, dưới tiêu chuẩn nghiêm ngặt về hoàn thành đúng từng nhiệm vụ đơn lẻ, tỷ lệ hoàn hảo chỉ đạt 3%, và trong số 91 nhiệm vụ, có 31 nhiệm vụ không có mô hình nào đạt được điểm số trên 50%.
Về phía các mô hình mã nguồn mở, GLM-5.2 (max) của Zhipu thể hiện nổi bật, điểm tổng hợp chỉ thấp hơn Claude Opus 4.8 (max) 90 điểm, nhưng chi phí vận hành chưa đến 25% của Claude Opus 4.8 (max). Chi phí vận hành chênh lệch rõ rệt giữa các mô hình, DeepSeek V4 Flash có chi phí mỗi nhiệm vụ chỉ 0,04 USD, trong khi Claude Fable 5 đắt nhất vượt quá 31 USD. Phân tích cho thấy, khả năng kiểm tra trực quan đóng vai trò quan trọng trong việc cải thiện chất lượng trình bày bố cục của kết quả giao hàng, Claude Fable 5 và Claude Opus 4.8 (max) dẫn đầu về điểm trình bày bố cục lần lượt gọi trung bình 21 lần và 12 lần công cụ xem hình ảnh mỗi nhiệm vụ.
