BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Trang chủ
AI AI
Tin nhanh
Bài viết
Sự kiện
BlockBeats Pro
Thêm
Thông tin tài chính
Chuyên đề
Hệ sinh thái chuỗi khối
Mục nhập
Podcast
Data
OPRR
Partnered With:

Cognition ra mắt FrontierCode: Bộ đánh giá AI đầu tiên đo lường chất lượng hợp nhất mã nguồn

Theo dữ liệu giám sát từ Beating, Cognition đã ra mắt bộ đánh giá mã thông minh hoàn toàn mới mang tên FrontierCode, tập trung đánh giá "khả năng hợp nhất" (Mergeability) của mã do AI tạo ra, thay vì chỉ đơn thuần kiểm tra tính chính xác khi chạy. Bộ đánh giá này được phát triển với sự hợp tác của 36 dự án mã nguồn mở bao gồm Celery, Budibase, uppy và Mattermost, mỗi nhiệm vụ đều được các nhà phát triển đầu tư hơn 40 giờ để hoàn thiện, nhằm kiểm tra chất lượng kiểm thử mã, tuân thủ tiêu chuẩn thiết kế, phạm vi sửa đổi và quy tắc phong cách.

FrontierCode được chia thành ba cấp độ: Extended (150 nhiệm vụ), Main (100 nhiệm vụ) và Diamond (50 nhiệm vụ khó nhất). Trên bộ nhiệm vụ Diamond có độ khó rất cao, hiệu suất của các mô hình lớn hiện tại vẫn còn nhiều dư địa cải thiện: Claude Opus 4.8, mô hình hoạt động tốt nhất, chỉ đạt 13,4% điểm số, GPT-5.5 đạt 6,3%, Gemini 3.1 Pro đạt 4,7%, trong khi Kimi K2.6, mô hình mã nguồn mở hoạt động tốt nhất, chỉ đạt 3,8%.

Để ngăn chặn các mô hình lớn vượt qua bài kiểm tra bằng cách gian lận hoặc đầu cơ, bộ đánh giá đã đưa vào nhiều cơ chế đánh giá, bao gồm yêu cầu các bài kiểm tra do tác nhân thông minh viết phải thất bại trên mã lỗi gốc (kiểm tra ngược), cũng như giới hạn phạm vi về số lượng tệp và dòng mã được sửa đổi. Nhóm phát triển cũng đã thiết kế công cụ mutagent dựa trên mô hình lớn, bằng cách điều chỉnh linh hoạt môi trường kiểm thử để chấp nhận các triển khai khác biệt hợp lý, giảm tỷ lệ đánh giá sai xuống còn một phần năm so với SWE-Bench Pro.

举报 Báo lỗi/Báo cáo
Liên quanĐề xuất
Thế hệ khởi nghiệp mới đã bước vào tầm vươn. Đối diện với họ là câu hỏi “Làm thế nào AI sẽ định hình lại thế giới”, một câu hỏi khó hơn nhiều so với cả Olympic.
Các nhà cung cấp dịch vụ đám mây lớn đang sử dụng công cụ vốn để nâng cao tính chắc chắn trong nguồn cung ở các khâu thiết kế quan trọng.
Báo lỗi/Báo cáo
Gửi
Thêm mới thư viện
Chỉ mình tôi có thể nhìn thấy
Công khai
Lưu
Chọn thư viện
Thêm mới thư viện
Hủy
Hoàn thành