Giám đốc AI của Meta, Alexandr Wang, bác bỏ lý thuyết "gian lận bảng xếp hạng" của SemiAnalysis: các bài kiểm tra cũ đã bão hòa từ lâu.

Động Sát Beating AI tin nhanh, tổ chức nghiên cứu AI SemiAnalysis chỉ đích danh Gemini 3.8 Flash và Muse Spark 1.3, gọi chúng là một trong những mô hình "benchmaxxed" rõ ràng nhất hiện nay, tức là tối ưu hóa quá mức cho các bài đánh giá công khai. Hai mô hình này lần lượt đạt 89,4% và 88,8% trên Terminal-Bench 2.1, gần chạm mức GPT-6 Astra và Claude Fable 5.1; nhưng khi chuyển sang Terminal-Bench 4.0 vừa mới ra mắt, chỉ còn 19,1% và 33,3%. Astra và Fable 5.1 vẫn giữ được 57,7% và 55,8%.

SemiAnalysis nghi ngờ rằng vấn đề nằm ở chỗ các bài kiểm tra công khai ngày càng dễ bị tối ưu hóa có chủ đích. Toàn bộ nhiệm vụ của Terminal-Bench 2.1 đều công khai, ngay cả khi các nhà sản xuất mô hình không trực tiếp dùng đề thi để huấn luyện, họ vẫn có thể mua dữ liệu môi trường học tăng cường có độ tương đồng cao với các nhiệm vụ này. Mô hình vì thế ngày càng giỏi bài thi này, nhưng chưa chắc đã khái quát hóa được sang nhiệm vụ mới. Tuy nhiên, SemiAnalysis không đưa ra bằng chứng trực tiếp về việc Google hay Meta mua loại dữ liệu này.

Giám đốc AI của Meta, Alexandr Wang, sau đó phản bác, gọi lập luận này "ngu ngốc". Ông lấy ví dụ, GPT-5.6 Sol cũng tụt từ 88,8% trên Terminal-Bench 2.1 xuống còn 37,3% trên 4.0. Giải thích của ông là 2.1 đã bão hòa, không còn phân biệt hiệu quả giữa các mô hình hàng đầu, còn 4.0 thì chưa bão hòa. Terminal-Bench 4.0 quả thực đã xóa 8 nhiệm vụ bão hòa, đã có lời giải công khai hoặc gặp vấn đề khác, đồng thời sửa 19 câu hỏi, và điều chỉnh lại các giới hạn tài nguyên như thời gian, CPU và bộ nhớ.