BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Trang chủ
AI AI
Tin nhanh
Bài viết
Sự kiện
BlockBeats Pro
Thêm
Thông tin tài chính
Chuyên đề
Hệ sinh thái chuỗi khối
Mục nhập
Podcast
Data
OPRR
Partnered With:

Databricks thử nghiệm Agent trên kho mã nguồn thực tế, GLM 5.2 lọt vào nhóm dẫn đầu.

Theo Động Sát Beating giám sát, Databricks đã công bố bài đánh giá nội bộ về AI Coding Agent, sử dụng các PR thực tế từ kho mã nguồn hàng triệu dòng của chính họ để kiểm tra.

Bộ đánh giá này không trực tiếp sử dụng SWE-Bench. Databricks cho rằng các bộ đề công khai có thể đã nằm trong dữ liệu huấn luyện và không đủ sát với kỹ thuật thực tế.

Các nhiệm vụ kiểm tra đến từ các PR đã được hợp nhất gần đây, bao gồm các ngôn ngữ như Python, Go, TypeScript, Scala. Nhóm đã lọc bỏ các bài nộp từ bot, mã do AI tạo và mã tự động sinh, chỉ giữ lại các nhiệm vụ có thể xác minh kết quả.

Kết quả cho thấy, Coding Agent đã được phân thành ba cấp độ. Cấp cao nhất không chỉ bao gồm các mô hình của OpenAI và Anthropic, mà còn có cả các mô hình mã nguồn mở. GLM 5.2 lọt vào nhóm đầu tiên, chất lượng gần với Opus 4.8, chi phí mỗi tác vụ là 1,28 USD, thấp hơn mức 1,94 USD của Opus 4.8.

Đánh giá cũng phát hiện rằng, đơn giá Token không thể trực tiếp đại diện cho chi phí thực tế. Sonnet 5 rẻ hơn mỗi Token, nhưng chạy lâu hơn và đọc nhiều hơn trong bộ nhiệm vụ này, dẫn đến chi phí mỗi tác vụ lại cao hơn.

Lớp vỏ công cụ cũng rất quan trọng. Cùng một mô hình nhưng thay đổi framework Agent khác nhau, chi phí mỗi tác vụ có thể chênh lệch hơn 2 lần, nhưng chất lượng hoàn thành thay đổi không đáng kể.

Liên quanĐề xuất
Agent Metaverse đang tạo ra một cuộc cách mạng, sử dụng các tác nhân AI và mã thông báo để mang đến những cách mới để chơi trò chơi Web3
Trong vòng chưa đầy một tháng, giá trị thị trường của toàn bộ dự án theo dõi Đặc vụ AI đã lên tới hàng chục tỷ đô la.
Liệu câu chuyện về Đặc vụ AI và DeSci có tiếp tục sang năm mới không?
Báo lỗi/Báo cáo
Gửi
Thêm mới thư viện
Chỉ mình tôi có thể nhìn thấy
Công khai
Lưu
Chọn thư viện
Thêm mới thư viện
Hủy
Hoàn thành