Kẻ tích hợp tối thượng của Agent điện thoại đã đến? DIYgod mã nguồn mở Pinky, giao cả iPhone và Android cho AI

Động Sát Beating Tin nhanh AI, tác giả RSSHub DIYgod đã mã nguồn mở Pinky, cho phép các AI Agent như Codex, Claude Code trực tiếp điều khiển iPhone và điện thoại Android thật. Phía máy tính hỗ trợ Mac, Windows, Linux, sau khi tích hợp qua MCP, AI có thể xem màn hình, mở App, nhấp, vuốt và nhập văn bản.

Trước đây đã giới thiệu nhiều dự án iPhone Use, có cái dựa vào giao diện kiểm thử XCTest/WDA, có cái mô phỏng bàn phím chuột qua Bluetooth, còn có cái cần gắn phần cứng ngoài. Pinky đã tích hợp nhiều hướng kỹ thuật vào cùng một bộ công cụ máy tính.

Phía Android sử dụng ADB + scrcpy, kết hợp với ứng dụng hỗ trợ trợ năng tùy chọn để đọc các control giao diện. Android 13 trở lên còn có thể tạo một màn hình ảo ẩn, cho AI vận hành App ở chế độ nền, người dùng vẫn sử dụng điện thoại bình thường. Phần này khá gần với Mika đã giới thiệu trước đây.

iPhone thì chọn phương án khác nhau tùy theo phiên bản hệ thống. iOS 27 trở lên gọi trực tiếp giao thức nhà phát triển CoreDevice của Apple, đọc giao diện, gửi lệnh chạm, không cần cài chương trình kiểm thử, hướng kỹ thuật gần với Poki. iOS 17.4 đến 26 vẫn phụ thuộc vào WDA, cần cài đặt qua chữ ký Xcode.

Pinky còn giải quyết riêng vấn đề AI thao tác nhầm. Nó sẽ nhận diện các nút nhạy cảm như «thanh toán», «chuyển khoản», tạm dừng trước khi thực sự nhấp, chờ người dùng phê duyệt thủ công. 60 giây không xác nhận thì từ chối thực thi, sau khi phê duyệt còn kiểm tra lại giao diện, đề phòng số tiền hoặc nút thay đổi. Gửi tin nhắn, xóa nội dung cũng có thể thiết lập để hỏi trước.

Cơ chế phê duyệt này được viết trong chương trình điều khiển, không phụ thuộc vào việc mô hình tuân thủ prompt. Ngân hàng, ví, trình quản lý mật khẩu mặc định ẩn với Agent, ô nhập mật khẩu và mã xác minh cũng cấm tự động điền. Người dùng có thể tiếp quản thao tác bất cứ lúc nào, mỗi bước đều có ghi màn hình, bản ghi được lưu trên máy tính của chính mình.

Dự án: https://github.com/DIYgod/pinky