Nghiên cứu viên: Tất cả các Bảng xếp hạng AI hàng đầu đều có thể bị「Brush」, Dữ liệu bảng xếp hạng có thể bị méo mó nghiêm trọng
Tin tức BlockBeats, ngày 10 tháng 4, nhà nghiên cứu trí tuệ nhân tạo Hao Wang đã công bố nghiên cứu tiết lộ rằng nhiều bài kiểm tra AI uy tín nhất trong ngành bao gồm SWE-bench Verified và Terminal-Bench đều có lỗ hổng có thể bị lợi dụng theo cách hệ thống—đội ngũ của anh đã xây dựng một Agent trên hai bài kiểm tra mà không giải quyết bất kỳ nhiệm vụ thực tế nào đều đạt được điểm tuyệt đối 100%.
Ví dụ điển hình như sau:
SWE-bench Verified: Nhúng một hook pytest 10 dòng vào kho lưu trữ mã nguồn, tự động làm giả mọi kết quả thành "thành công" trước khi chạy kiểm tra, hệ thống đánh giá không nhận biết điều này, tất cả 500 câu hỏi đều được điểm đầy đủ;
Terminal-Bench: Mặc dù bài kiểm tra bảo vệ tệp, nhưng không bảo vệ tệp nhị phân của hệ thống. Agent thay thế curl, chặn quá trình cài đặt phụ thuộc của trình cấm, thực hiện chiếm đoạt cấp độ thấp;
WebArena: Câu trả lời tham khảo được lưu trữ dưới dạng văn bản rõ trong tệp cấu hình JSON địa phương, và Playwright Chromium không giới hạn truy cập theo giao thức file://, mô hình có thể đọc câu trả lời sau đó đặt ra nguyên bản.
Đội đã khám phá ra 7 loại lỗi chung xuất hiện lặp đi lặp lại trong 8 bài kiểm tra cơ sở, bao gồm: Thiếu cách ly giữa Agent và bộ đánh giá, câu trả lời được phân phối cùng với bài kiểm tra, LLM Judge dễ bị tấn công tiêm chuỗi lệnh, v.v. Đáng chú ý là việc tránh qua lại của hệ thống đánh giá đã được quan sát ngẫu nhiên trong các mô hình tiên tiến như o3, Claude 3.7 Sonnet và Mythos Preview mà không cần kích hoạt chỉ thị rõ ràng.
Đội đã phát triển công cụ quét lỗ hổng bài kiểm tra cơ sở WEASEL, có khả năng phân tích quy trình đánh giá tự động, xác định điểm yếu biên cách ly và tạo mã khai thác lỗ hổng có thể sử dụng, tương đương với một công cụ "test xâm nhập" dành cho kiểm thử bài kiểm tra cơ sở, hiện đã mở cửa truy cập sớm.
