Cua thử nghiệm thực tế AI vận hành máy tính qua backend: tỷ lệ tự đạt 58%, browser-use chỉ 3%

Động Sát Beating AI tin nhanh, Cua hợp tác với Scale AI ra mắt bộ đánh giá thao tác máy tính Cua Driver Bench. Nó yêu cầu AI Agent thao tác phần mềm ở chế độ nền, đồng thời không được chiếm chuột, bàn phím của người dùng, cũng không được bật cửa sổ làm gián đoạn công việc.

Trong thử nghiệm trên macOS, tỷ lệ vượt qua hoàn toàn của Cua Driver đạt 58%, Codex Computer Use là 33%, Vercel agent-desktop là 20%, browser-use chỉ có 3%.

Ưu thế của Cua đến từ việc thao tác trực tiếp trên cửa sổ nền. Các công cụ thao tác máy tính thông thường thường mô phỏng click, gõ phím của con người, cần đưa cửa sổ mục tiêu lên foreground. Cua thì tận dụng giao diện trợ năng của macOS, trực tiếp tìm nút, ô nhập liệu của ứng dụng nền và thực hiện thao tác. Nó còn có thể chụp riêng hình ảnh cửa sổ, không cần đưa cửa sổ lên lớp trên cùng.

Khoảng cách thể hiện rõ nhất ở browser-use. Trong 40 lần thử nghiệm, nó hoàn thành thành công 32 nhiệm vụ, nhưng trong đó 31 lần làm gián đoạn người dùng, cuối cùng chỉ có 1 lần vượt qua hoàn toàn. Cua tuy chỉ hoàn thành 25 lần, nhưng có 23 lần không làm phiền người dùng, trong thử nghiệm không một lần nào chiếm focus bàn phím.

Tất cả công cụ đều sử dụng Claude Sonnet 5.5, so sánh là công cụ thao tác máy tính, không phải bản thân mô hình. Thử nghiệm bao gồm các nhiệm vụ trình duyệt, email, lịch, bảng tính, mỗi nhiệm vụ cần hoàn thành trong khi người dùng liên tục gõ phím.