Hermes Agent đã triển khai tính năng điều khiển máy tính macOS, ảnh chụp màn hình và giảm 95% Token消费.

Theo theo giám sát từ Báo cáo Đột phá , Hermes Agent của Nous Research đã chính thức triển khai tính năng Kiểm soát Máy tính trên macOS.

Tính năng này trải nghiệm trực tiếp theo sau chức năng "Kiểm soát nền" của OpenAI Codex. Đằng sau là việc tích hợp cua-driver - một driver mã nguồn mở mà kênh này đã đề cập trong bài báo trước đó, thông qua việc đảo ngược API riêng của Apple để trực tiếp gửi lệnh điều khiển đến tiến trình mục tiêu. Điều này có nghĩa là khi Agent đang ẩn dữ liệu email hoặc code, con trỏ chuột vật lý của người dùng sẽ không nhảy lung tung, và cửa sổ hiện tại cũng sẽ không bị chiếm đoạt trung tâm, thực hiện việc làm cộng tác giữa con người và máy tính trên cùng một máy tính mà không làm phiền lẫn nhau.

Vì việc kiểm soát máy tính mạnh mẽ phụ thuộc nhiều vào việc chụp màn hình liên tục, Hóa đơn Token thường tăng cực nhanh. Do đó, Hermes đã triển khai một cơ chế nén bốn cấp độ ở mức đồng bộ cấp kết cấu: bắt buộc loại bỏ hình ảnh dư thừa, chỉ cho phép mô hình ghi nhớ 3 ảnh chụp gần đây nhất, kết hợp với việc xóa bộ nhớ cache cũ trên máy chủ. Theo ước lượng chính thức, tại độ phân giải 1568×900, thực hiện 20 bước điều khiển liên tục, lượng tiêu thụ ngữ cảnh đã giảm từ khoảng 600,000 Token xuống còn khoảng 30,000.