Alibaba GUI Agent đã phát triển đến thế hệ thứ ba: Qwen bắt đầu có thể sử dụng đồng thời điện thoại di động, máy tính và dòng lệnh.

Động Sát Beating Tin nhanh AI, Alibaba ra mắt mô hình nền tảng tác tử GUI mới Qwen-UI-Agent. Nó có thể trực tiếp nhìn màn hình, nhấn nút, nhập văn bản, thao tác trên điện thoại, máy tính và trang web; khi gặp các tác vụ phù hợp với dòng lệnh, nó cũng có thể chạy trực tiếp CLI, không cần mọi thứ đều phải dựa vào chuột từng chút một.

Alibaba đã phát triển GUI Agent hơn hai năm. Năm 2024, Mobile-Agent chủ yếu để mô hình xem ảnh chụp màn hình điện thoại, sau đó điều khiển chạm và vuốt; sau đó, GUI-Owl, MAI-UI bắt đầu huấn luyện trực tiếp các thao tác GUI vào mô hình và mở rộng sang máy tính. Qwen-UI-Agent lại đưa điện thoại, máy tính, trang web, DeepSearch và dòng lệnh vào cùng một tác tử.

Ví dụ như tra tàu cao tốc, tính thời gian đến công ty, rồi tạo cuộc họp trên DingTalk, nó có thể hoàn thành xuyên suốt nhiều ứng dụng. Khi phân tích dữ liệu, nó cũng có thể tìm tài liệu trực tuyến trước, sau đó dùng dòng lệnh xử lý dữ liệu, cuối cùng tạo ra Excel, PPT và Word.

Mô hình chính được tiếp tục huấn luyện từ Qwen3.5-27B. Trong bài đánh giá thiết bị thực tế MobileWorld-Real do Alibaba tự xây dựng, nó đạt 92,2%, cao hơn GPT-5.6 Sol, Claude Opus 4.8 và Gemini 3.1 Pro trong cùng bài đánh giá.