Không cần jailbreak, không cài ứng dụng trên iPhone, dự án mã nguồn mở Poki cho phép AI trực tiếp điều khiển iPhone của bạn

Động Sát Beating AI tin nhanh, nhà phát triển Joseph Zhou đã mã nguồn mở Poki, cho phép các AI Agent như Codex, Claude Code trực tiếp điều khiển iPhone thật.

Hiện đã có không ít dự án iPhone Use, một số cài chương trình kiểm thử qua XCTest/WDA, một số khác dựa vào phần cứng ngoài để mô phỏng thao tác.

Poki chọn một hướng khác: gọi trực tiếp dịch vụ nhà phát triển thiết bị của Apple, đọc cây điều khiển trợ năng gốc của iPhone, lấy nút, văn bản và vị trí, rồi gửi lệnh chạm, vuốt, nhập liệu thậm chí thu phóng hai ngón tới điện thoại.

Như vậy AI không cần mỗi bước đều dựa vào ảnh chụp màn hình để đoán tọa độ, cũng không cần cài chương trình kiểm thử trên iPhone. Sau khi ghép nối qua USB lần đầu, còn có thể thao tác không dây trong cùng mạng LAN.

Ngoài việc tích hợp Codex, Claude Code qua MCP, Poki còn có sẵn Agent chạy trên Mac, có thể ra lệnh qua terminal hoặc iMessage. Nó ghi nhớ các quy trình thao tác đã thực thi thành công và được xác minh, lần sau gặp nhiệm vụ tương tự sẽ tái sử dụng trực tiếp, một số nhiệm vụ thậm chí không cần gọi lại mô hình. Tuy nhiên, Mac vẫn cần duy trì chạy.

Thao tác trên máy thật hiện vẫn khá chậm. Tác giả thử nghiệm trên một chiếc iPhone chạy iOS 27.3, với một ô tìm kiếm trong ứng dụng chat, chạm văn bản liên tiếp 12 lần đều có hiệu lực, nhưng mỗi lần mất khoảng 8 giây; điền vào ô nhập liệu mất khoảng 15 giây, một số nút vẫn không thể chạm bình thường.

Ưu điểm của Poki là đọc trực tiếp điều khiển hệ thống, hỗ trợ thao tác không dây và đa điểm chạm, nhưng cần đầy đủ Xcode, chế độ nhà phát triển và UI Automation. Tầng dưới phụ thuộc vào giao diện nhà phát triển của Apple, các bản nâng cấp hệ thống trong tương lai cũng có thể ảnh hưởng đến khả năng tương thích.