Mô hình chính của Google, Gemini 3.5 Flash, hỗ trợ điều khiển máy tính gốc, mở khóa tự động hóa tác nhân thông minh cấp doanh nghiệp.

Theo Động Sát Beating giám sát, Google đã tích hợp tính năng Điều khiển máy tính (Computer Use) như một công cụ tích hợp sẵn trực tiếp vào mô hình chủ lực Gemini 3.5 Flash.

Trước khi tích hợp gốc, các nhà phát triển phải gọi riêng mô hình Điều khiển máy tính Gemini 2.5 để thực hiện các tác vụ đại lý. Sau khi tích hợp gốc, các nhà phát triển và doanh nghiệp có thể trực tiếp thông qua Gemini API hoặc nền tảng Gemini Enterprise Agent Platform của Google Cloud (tức nền tảng Vertex AI cũ) để mô hình chủ lực điều khiển thiết bị, đơn giản hóa kiến trúc phát triển Agent.

Công cụ điều khiển máy tính tích hợp sẵn hoạt động bằng cách nhận ảnh chụp màn hình từ trình duyệt, thiết bị di động hoặc môi trường desktop, thực hiện nhận thức thị giác và suy luận các bước, sau đó xuất ra các lệnh thao tác như nhấp chuột, nhập bàn phím, cuộn lăn và điều hướng menu, nhằm hoàn thành các tác vụ tự động hóa quy trình dài như kiểm thử phần mềm liên tục, thu thập dữ liệu đa trang web. Để thuận tiện cho việc gỡ lỗi và kiểm toán, khi tạo lệnh, mô hình sẽ kèm theo trường "intent" để giải thích logic của từng bước thao tác.

Đối với rủi ro tiêm prompt mà Agent có thể gặp phải trong môi trường mạng thực tế, Google đã tiến hành huấn luyện đối kháng có định hướng cho mô hình và cung cấp hai biện pháp bảo vệ tùy chọn: bắt buộc đưa vào phê duyệt thủ công đối với các thao tác không thể đảo ngược như thanh toán tài chính, xóa tệp; tự động ngắt tác vụ nếu phát hiện lệnh tiêm gián tiếp trong ảnh chụp màn hình.

Hiện tại, Browserbase cung cấp môi trường demo trực tuyến (gemini.browserbase.com), Google cũng đồng thời mã nguồn mở trên GitHub mã tham chiếu có tên computer-use-preview.