Cua Driver bổ sung "đôi mắt" cho Agent: giao diện thuần pixel cũng có thể nhận diện nút và văn bản

动察 Beating AI tin nhanh, công cụ Computer Use mã nguồn mở Cua đã thêm tiện ích mở rộng thị giác Perception tùy chọn vào Cua Driver. Driver vốn ưu tiên tìm nút thông qua cấu trúc trang web và cây trợ năng hệ thống. Khi gặp Canvas, game, remote desktop hoặc ứng dụng tự vẽ, các cấu trúc này có thể trống rỗng. Perception sẽ đọc trực tiếp ảnh chụp màn hình, chia hình ảnh thành các vùng có văn bản, loại và vị trí, để Agent tiếp tục thao tác.

Phiên bản đầu tiên dùng OmniParser nhận diện biểu tượng và điều khiển, dùng PP-OCR đọc văn bản. Toàn bộ quá trình phân tích hoàn thành trên CPU cục bộ, không cần GPU, cũng không gửi ảnh chụp màn hình lên mạng. Theo thử nghiệm chính thức, một ảnh chụp màn hình trên macOS mất khoảng 2 đến 2,5 giây, Linux là 3,5 đến 4 giây, Windows là 8 đến 9 giây. Nó chủ yếu dự phòng khi cấu trúc trang và cây trợ năng thất bại, không mặc định chạy phân tích thị giác mỗi bước.

Cua cũng giới hạn việc tái sử dụng ảnh chụp màn hình cũ cho thao tác thị giác. Mỗi lần nhận diện thị giác sẽ gắn với `capture_id` của ảnh chụp hiện tại, sau đó cú nhấp phải đến từ cùng một ảnh chụp. Nếu ảnh chụp quá 60 giây, hoặc đã thực hiện một thao tác, Driver sẽ từ chối tiếp tục sử dụng, tránh nhấp nhầm bằng tọa độ cũ sau khi giao diện thay đổi.

Cua trước đây thực ra đã có thể định vị thị giác thông qua `cua-som` và OmniParser. Giờ đây bộ khả năng này được kết nối trực tiếp vào Cua Driver, Agent cấp trên có thể nhận kết quả nhận diện qua giao diện thống nhất. Ngay cả khi mô hình không biết xem hình, cũng có thể dựa vào thông tin văn bản và vùng này để quyết định thao tác tiếp theo.

Perception không phải thành phần mặc định, trong đó bộ phát hiện OmniParser dùng AGPL-3.0; Cua Driver vẫn giữ giấy phép MIT.