Theo Động Sát Beating giám sát, kỳ lân công nghệ tài chính Ramp đã công bố tiêu chuẩn kiểm thử riêng dành cho tác nhân mã hóa AI tiên tiến, mang tên Ramp SWE-Bench. Ramp SWE-Bench bao gồm 80 nhiệm vụ phát triển backend được lấy từ môi trường sản xuất thực tế của Ramp, nhằm giải quyết vấn đề rò rỉ dữ liệu và bão hòa chỉ số do các bộ dữ liệu đánh giá công khai bị ảnh hưởng bởi quá trình tiền huấn luyện mô hình.
Các nhiệm vụ kiểm thử đều được trích xuất từ các yêu cầu kéo (PR) thực tế đã được triển khai thành công vào môi trường sản xuất bởi trợ lý mã hóa AI nội bộ Inspect của Ramp. Mỗi nhiệm vụ tái cấu trúc mã nguồn cơ bản trước khi PR được gửi, giữ lại mã đã hợp nhất và kiểm thử làm tiêu chuẩn vàng, đồng thời trích xuất ý định ban đầu của kỹ sư trong cuộc hội thoại với Inspect làm gợi ý. Đánh giá sử dụng môi trường sandbox mini-swe-agent, với tiêu chí vượt qua là chạy thành công tất cả các bài kiểm thử trong một lần duy nhất mà không phá vỡ chức năng hiện có (pass@1).
Theo kết quả đánh giá ngang hàng của 14 mô hình được công bố, Claude Fable 5 mới nhất của Anthropic đứng đầu với tỷ lệ giải quyết 87,5%. Claude Opus 4.7 và GPT-5.5 đồng hạng nhì, cả hai đều có tỷ lệ giải quyết 83,75%. Mặc dù Claude Opus 4.8 có tỷ lệ giải quyết 77,5%, nhưng thời gian chạy trung bình mỗi nhiệm vụ được rút ngắn xuống còn 8 phút 30 giây, và chi phí mỗi lần chạy chỉ 1,09 USD, chưa đến 40% chi phí chạy của Fable 5, thể hiện hiệu quả chi phí vượt trội.
Dữ liệu kiểm thử cũng tiết lộ sự đánh đổi giữa giá cả và hiệu suất của các mô hình khác nhau. Mô hình nội địa Kimi K2.6 và GLM 5.1 có tỷ lệ giải quyết tương tự, lần lượt là 72,5% và 71,25%, nhưng chi phí trung bình của Kimi K2.6 là 0,69 USD, rẻ hơn khoảng 34% so với GLM 5.1. Trong số các mô hình nhẹ, GPT-5.4 Mini dẫn trước Claude Haiku 4.5 khoảng 10 điểm phần trăm với tỷ lệ giải quyết 58,75%, đồng thời chi phí trung bình và số bước đều giảm một nửa. Ramp chỉ ra rằng, khi các mô hình tiến tới ứng dụng thực tế, sự đánh đổi giữa hiệu suất, tốc độ và chi phí đang trở thành yếu tố then chốt trong quá trình triển khai kỹ thuật.
