Nhà phát triển độc lập Yetone với Alma lọt vào top 3 Agent, tỷ lệ vượt qua và chi phí đều vượt trội so với Claude Code

Động Sát Beating AI tin nhanh, Alma do nhà phát triển độc lập Yetone chủ trì phát triển, trong đợt đánh giá tổng hợp AI Agent mới nhất, đồng thời giành vị trí thứ ba về tỷ lệ vượt qua nhiệm vụ và chi phí thành công, vượt qua các công cụ nổi tiếng như Claude Code, OpenCode.

Đợt đánh giá này do công ty hạ tầng AI Agent Runta khởi xướng. Trong ảnh chụp bảng xếp hạng hiện tại, tỷ lệ vượt qua nhiệm vụ của Alma là 72,7%, chỉ đứng sau Codex CLI với 77,9% và Pi với 72,8%. Claude Code đạt 70,0%.

Alma không chỉ có tỷ lệ vượt qua cao hơn mà còn tiết kiệm chi phí hơn khi hoàn thành nhiệm vụ. Trung bình mỗi câu hoàn thành thành công tốn khoảng 0,80 USD, trong khi Claude Code là 0,94 USD, chi phí thấp hơn khoảng 16%.

FrontierHarness v1.1 lần này tập trung nghiên cứu một vấn đề: với cùng một mô hình lớn, khi thay đổi bộ khung thực thi Agent, hiệu suất thực sự có thể chênh lệch bao nhiêu?

Đánh giá bao gồm 21 nhóm cấu hình Harness, 5 mô hình lớn và 62 nhiệm vụ, mỗi nhiệm vụ lặp lại 4 lần, dự kiến chạy 26.040 lần, quy mô đạt gấp 72 lần phiên bản trước. Tất cả công cụ đều chạy trong môi trường đám mây thống nhất, so sánh tỷ lệ thành công nhiệm vụ, chi phí Token và tốc độ thực thi.

Alma là một AI Agent chủ yếu chạy cục bộ, có bộ nhớ dài hạn, có thể trực tiếp đọc và sửa mã, thực thi lệnh terminal, tìm kiếm web, còn hỗ trợ Skills và MCP. Nó có thể tự do chuyển đổi mô hình nền tảng, không phụ thuộc vào một nhà cung cấp mô hình nào.

Gần đây, Alma còn tích hợp Herdr. Các Agent lập trình như Claude Code, Codex, Pi có thể tiếp tục chạy trong Herdr, Alma tập hợp chúng vào một giao diện trò chuyện, xem quá trình thực thi, trả lời câu hỏi và phê duyệt thao tác. Người dùng thậm chí có thể quản lý từ xa nhiều Agent trên máy tính thông qua iPhone.

Hiện tại đánh giá chưa kết thúc, thứ hạng vẫn sẽ thay đổi. Các mô hình tham gia cũng chỉ giới hạn ở các mô hình mã nguồn mở như GLM, DeepSeek, Kimi, Muse, chưa bao gồm các mô hình đóng như dòng GPT và Claude.