BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Trang chủ
AI AI
Tin nhanh
Bài viết
Sự kiện
BlockBeats Pro
Thêm
Thông tin tài chính
Chuyên đề
Hệ sinh thái chuỗi khối
Mục nhập
Podcast
Data
OPRR
Partnered With:

Để AI di chuyển toàn bộ kho mã nguồn, 94,6% không vượt qua: 20 nhiệm vụ, 13 nhiệm vụ không ai làm được.

Động sát Beating Tin nhanh AI, công ty AI Agent Einsia phát hành SWE Refactor Bench, chuyên kiểm tra xem Coding Agent có thể tự di chuyển toàn bộ mã nguồn hay không. 20 nhiệm vụ đến từ các dự án thực tế như SQLite, zlib, libsodium, GraphHopper, bao gồm chuyển từ C sang Rust, Maven sang Gradle, SQLite sang WASI. Mỗi nhiệm vụ cho Agent từ 6 đến 30 giờ.


Vòng đánh giá đầu tiên kiểm tra xem công nghệ cũ có thực sự được thay thế hay không, ngăn Agent giữ lại mã cũ để qua mặt; vòng thứ hai chạy hơn 130.000 bài kiểm tra cố định; cuối cùng cử 6 Coding Agent độc lập, mỗi cái dành 1 giờ để chuyên tìm lỗi ẩn.


8 mô hình tiên tiến, 26 cấu hình tổng cộng chạy 520 lần. 340 lần thực sự hoàn thành di chuyển, 88 lần vượt qua tất cả bài kiểm tra chuẩn bị trước, nhưng trong đó 60 lần lại bị vòng cuối phát hiện lỗi ẩn. Cuối cùng chỉ có 28 lần hoàn toàn vượt qua, tỷ lệ thành công 5,4%; trong 20 nhiệm vụ có 13 nhiệm vụ không ai làm được. Cấu hình xhigh của Claude Opus 5 là tốt nhất, hoàn thành đầy đủ 5 trong 20 nhiệm vụ.


Coding Agent hiện tại đã có thể thay đổi mã nguồn trên quy mô lớn, nhưng để đạt được "thay đổi toàn bộ hệ thống mà vẫn hoàn toàn không sai sót", vẫn còn rất xa.

举报 Báo lỗi/Báo cáo
Báo lỗi/Báo cáo
Gửi
Thêm mới thư viện
Chỉ mình tôi có thể nhìn thấy
Công khai
Lưu
Chọn thư viện
Thêm mới thư viện
Hủy
Hoàn thành