Đánh giá AI đại biến! Artificial Analysis ra mắt Chỉ số năng lực ngành: Claude Fable 5 quét sạch, GLM-5.2 mã nguồn mở áp sát biên giới mã nguồn đóng.

Theo Động Sát Beating giám sát, các bài đánh giá mô hình AI truyền thống thường phụ thuộc vào các bộ dữ liệu học thuật phổ thông, dẫn đến sự chênh lệch giữa điểm số cao trong bài kiểm tra và hiệu suất thực tế khi triển khai trong doanh nghiệp. Tổ chức đánh giá Artificial Analysis, dựa trên hai chỉ số kỹ năng tổng quát hiện có là tác nhân (agent) và lập trình, đã ra mắt sáu chỉ số ngành để đánh giá hiệu suất kinh doanh thực tế (bao gồm các lĩnh vực tài chính, pháp lý, y tế, vận hành, kỹ thuật và kinh tế).

Khác với các chỉ số kỹ năng tổng quát, các chỉ số ngành sử dụng phương pháp phân loại công việc O*NET, mô phỏng tần suất phân bổ nhiệm vụ của các vị trí thực tế để thực hiện trọng số tùy chỉnh. Nó kết hợp các bài kiểm tra năng lực cốt lõi của mô hình lớn (như suy luận HLE, xử lý văn bản dài LCR, tác vụ tác nhân GDPval, v.v.) với cơ sở kiến thức chuyên ngành (AA-Omniscience). Trong đợt thử nghiệm đầu tiên, mô hình đóng Claude Fable 5 đã giành vị trí đầu tiên trong tất cả tám chỉ số, trong khi mô hình mã nguồn mở GLM-5.2 giành được năm vị trí đầu tiên trong sáu chỉ số ngành, đạt 53 điểm trong chỉ số kỹ thuật, tiến gần đến mức 55 điểm của Claude Sonnet 5.

Đánh giá cũng tiết lộ một khoảng cách hiệu suất khổng lồ: trong chỉ số vận hành, chi phí cho một tác vụ duy nhất của Claude Fable 5 (3,48 USD) cao gấp hơn một trăm lần so với DeepSeek V4 Pro mã nguồn mở (0,03 USD); trong khi ở chỉ số pháp lý, phiên bản xem trước Gemini 3.1 Pro nhanh hơn gần 7 lần so với Claude Fable 5 và chỉ kém 11 điểm.

Cân nhắc trọng số giữa hiệu suất và hiệu quả chi phí dựa trên bối cảnh nhiệm vụ đang trở thành thước đo mới cho việc lựa chọn AI trong các lĩnh vực chuyên ngành.