Động Sát Beating AI tin nhanh, blogger đánh giá mô hình lớn "Mèo Ông Chủ" khi kiểm thử MiniMax M3.1 Flash phát hiện, mô hình đạt gần điểm tuyệt đối ở các câu hỏi cũ, nhưng chuyển sang câu hỏi mới lại gần như bằng không. Mô hình trung bình mỗi câu tiêu tốn hàng chục nghìn Token, nhưng một số câu khó chỉ dùng khoảng 1 vạn Token là có thể trả lời đúng. Biểu hiện bất thường này khiến người ta nghi ngờ liệu mô hình có phải đã ghi nhớ trước đáp án của một số câu hỏi.
Mèo Ông Chủ lâu nay duy trì bảng xếp hạng mô hình lớn "Trí Tri", sử dụng ngân hàng câu hỏi riêng không công khai, chủ yếu kiểm thử năng lực logic, toán học và lập trình. Ngân hàng câu hỏi thường duy trì trong phạm vi 28 câu, 270 trường hợp kiểm thử, mỗi tháng cập nhật một phần câu hỏi, mỗi câu kiểm thử 3 lần, đồng thời thống kê điểm cao nhất và điểm trung vị. Lần này điểm trung vị của M3.1 Flash đạt 51,76, cao hơn gấp đôi so với 23,86 của thế hệ trước M3, gần với 56,03 của DeepSeek V4.1 Flash 1017 mới nhất.
Một số nhà phát triển nghi ngờ, mô hình có thể đã được huấn luyện chuyên biệt cho các câu hỏi cũ, mà không thực sự nắm vững phương pháp giải题. Cách làm tối ưu hóa mô hình chuyên biệt để nâng cao điểm đánh giá này được gọi là Benchmaxxing.
