BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Trang chủ
AI AI
Tin nhanh
Bài viết
Sự kiện
BlockBeats Pro
Thêm
Thông tin tài chính
Chuyên đề
Hệ sinh thái chuỗi khối
Mục nhập
Podcast
Data
OPRR
Partnered With:

Ramp công bố chuẩn riêng SWE-Bench: Claude Fable 5 dẫn đầu với tỷ lệ thắng 87,5%.

Theo Động Sát Beating giám sát, kỳ lân công nghệ tài chính Ramp đã công bố tiêu chuẩn kiểm thử riêng dành cho tác nhân mã hóa AI tiên tiến, mang tên Ramp SWE-Bench. Ramp SWE-Bench bao gồm 80 nhiệm vụ phát triển backend được lấy từ môi trường sản xuất thực tế của Ramp, nhằm giải quyết vấn đề rò rỉ dữ liệu và bão hòa chỉ số do các bộ dữ liệu đánh giá công khai bị ảnh hưởng bởi quá trình tiền huấn luyện mô hình.

Các nhiệm vụ kiểm thử đều được trích xuất từ các yêu cầu kéo (PR) thực tế đã được triển khai thành công vào môi trường sản xuất bởi trợ lý mã hóa AI nội bộ Inspect của Ramp. Mỗi nhiệm vụ tái cấu trúc mã nguồn cơ bản trước khi PR được gửi, giữ lại mã đã hợp nhất và kiểm thử làm tiêu chuẩn vàng, đồng thời trích xuất ý định ban đầu của kỹ sư trong cuộc hội thoại với Inspect làm gợi ý. Đánh giá sử dụng môi trường sandbox mini-swe-agent, với tiêu chí vượt qua là chạy thành công tất cả các bài kiểm thử trong một lần duy nhất mà không phá vỡ chức năng hiện có (pass@1).

Theo kết quả đánh giá ngang hàng của 14 mô hình được công bố, Claude Fable 5 mới nhất của Anthropic đứng đầu với tỷ lệ giải quyết 87,5%. Claude Opus 4.7 và GPT-5.5 đồng hạng nhì, cả hai đều có tỷ lệ giải quyết 83,75%. Mặc dù Claude Opus 4.8 có tỷ lệ giải quyết 77,5%, nhưng thời gian chạy trung bình mỗi nhiệm vụ được rút ngắn xuống còn 8 phút 30 giây, và chi phí mỗi lần chạy chỉ 1,09 USD, chưa đến 40% chi phí chạy của Fable 5, thể hiện hiệu quả chi phí vượt trội.

Dữ liệu kiểm thử cũng tiết lộ sự đánh đổi giữa giá cả và hiệu suất của các mô hình khác nhau. Mô hình nội địa Kimi K2.6 và GLM 5.1 có tỷ lệ giải quyết tương tự, lần lượt là 72,5% và 71,25%, nhưng chi phí trung bình của Kimi K2.6 là 0,69 USD, rẻ hơn khoảng 34% so với GLM 5.1. Trong số các mô hình nhẹ, GPT-5.4 Mini dẫn trước Claude Haiku 4.5 khoảng 10 điểm phần trăm với tỷ lệ giải quyết 58,75%, đồng thời chi phí trung bình và số bước đều giảm một nửa. Ramp chỉ ra rằng, khi các mô hình tiến tới ứng dụng thực tế, sự đánh đổi giữa hiệu suất, tốc độ và chi phí đang trở thành yếu tố then chốt trong quá trình triển khai kỹ thuật.

举报 Báo lỗi/Báo cáo
Báo lỗi/Báo cáo
Gửi
Thêm mới thư viện
Chỉ mình tôi có thể nhìn thấy
Công khai
Lưu
Chọn thư viện
Thêm mới thư viện
Hủy
Hoàn thành