Động sát Beating Tin nhanh AI, Scale AI ra mắt HarnessOpt-Bench, chuyên kiểm tra xem AI có thể tự sửa harness của Agent hay không, giúp một Agent khác trở nên mạnh hơn.
Harness là bộ chương trình bao quanh mô hình, bao gồm prompt, công cụ, bộ nhớ và quy trình làm việc. Khi kiểm tra, AI sẽ nhận được một harness cố tình chưa được tối ưu hóa đầy đủ, liên tục sửa mã dựa trên điểm số và các trường hợp thất bại, nhưng mô hình bên trong vẫn không thay đổi.
Sau khi sửa xong, Scale lại đưa ra một loạt bài kiểm tra mà AI chưa từng thấy để đánh giá xem Agent sau khi sửa có thực sự mạnh hơn hay không. Điều này giúp tránh việc AI chỉ tối ưu điểm số cho các bài đã biết.
Scale sử dụng 5 mô hình gồm Claude Opus 5, GPT-5.6 Sol, Kimi K3, chạy 111 lần trên 4 loại nhiệm vụ. Opus 5 hoạt động tốt nhất, giành 3 vị trí đầu trong 4 hạng mục.
Nhìn chung, mô hình chịu trách nhiệm sửa harness quan trọng hơn việc nó dùng Claude Code, Codex hay OpenCode để sửa mã.
Tuy nhiên, đây vẫn chưa phải là "tự cải thiện AI" thực sự. Vì lần này là một AI sửa harness của một Agent khác, và harness ban đầu vốn cố tình để lại nhiều không gian tối ưu.
