BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Trang chủ
AI AI
Tin nhanh
Bài viết
Sự kiện
BlockBeats Pro
Thêm
Thông tin tài chính
Chuyên đề
Hệ sinh thái chuỗi khối
Mục nhập
Podcast
Data
OPRR
Partnered With:

Đánh giá độc lập MiniMax M3: Tỷ lệ vượt qua DeepSWE là 13,3%, thấp hơn so với Kimi và GLM.

Theo giám sát của Động Sát Beating, nhà phát triển độc lập @bleysg đã công bố báo cáo thử nghiệm độc lập về mô hình mã hóa MiniMax M3 trên chuẩn DeepSWE dành cho các bài toán kỹ thuật phần mềm tầm xa. Trong bài kiểm tra với 113 nhiệm vụ phát triển chức năng mã nguồn mở thực tế, mô hình chỉ đạt tỷ lệ vượt qua tiêu chuẩn nghiêm ngặt là 13,3% (15/113) trong thời gian giới hạn thông thường 90 phút, khác xa so với kết quả đánh giá 59,0% mà hãng từng công bố trên chuẩn SWE-bench Pro. Trong bảng xếp hạng DeepSWE đã công bố, hiệu suất của M3 thấp hơn so với Kimi-k2.6 (24%) và GLM-5.1 (18%) phổ biến trong nước, nhưng lại vượt trội hơn Gemini 3.1 Pro (10%) của Google và DeepSeek V4 Pro (8%).

Cụ thể, tỷ lệ vượt qua của mô hình trên nhiệm vụ JavaScript là 40,0% (2/5), TypeScript là 17,1% (6/35), Go là 11,8% (4/34), Python là 8,8% (3/34), trong khi cả 5 nhiệm vụ Rust đều thất bại. Dữ liệu đánh giá cho thấy, trong số các nhiệm vụ chưa được giải quyết hoàn toàn, có 35 nhiệm vụ có tỷ lệ vượt qua bài kiểm tra ẩn trên 90%, được phân loại là "gần như vượt qua". Ngoài ra, trong tổng số 113 nhiệm vụ, chỉ có 8 lần thất bại do phá vỡ mã nguồn hiện có, cho thấy mô hình có xu hướng tạo ra các bản vá bảo thủ, khó gây ra lỗi hồi quy.

Tuy nhiên, so với khả năng chống hồi quy mã tốt, chi phí vận hành rất cao của M3 lại trở thành điểm yếu đáng kể. Trên chuẩn DeepSWE, số bước vận hành trung vị của mô hình để giải quyết một nhiệm vụ lên tới 325 bước, số Token đầu ra trung vị đạt 80.000 token, và chi phí trung vị trung bình cho mỗi nhiệm vụ lên tới 7,48 USD. Chi phí tài nguyên cao cho thấy, so với các mô hình tiên tiến chủ đạo, M3 vẫn còn nhiều dư địa cải thiện về hiệu quả tính toán. Báo cáo thử nghiệm chỉ ra rằng, nếu nới lỏng giới hạn thời gian chạy, tỷ lệ vượt qua trong thời gian mở rộng của mô hình có thể tăng lên 16,8% (19/113), giải quyết thêm tổng cộng 4 nhiệm vụ phức tạp nhiều tệp tốn hơn 90 phút.

举报 Báo lỗi/Báo cáo
Liên quanĐề xuất
Tiền ít, thẻ ít, người ít, lại thúc đẩy sự phát triển của khả năng kỹ thuật và sáng tạo kiến trúc đến đỉnh cao.
Không phụ thuộc vào thương hiệu, không phụ thuộc vào quảng cáo, trong vòng 8 ngày để nhà phát triển bỏ phiếu bằng chân
Goldman Sachs đánh giá cao MiniMax nhờ sản phẩm mới và lợi thế chi phí để phục hồi định giá.
NVIDIA đã giảm cấp độ bảo vệ của mình trong việc huấn luyện mô hình lớn tại Trung Quốc từ "bắt buộc" xuống cấp độ "tùy chọn".
Báo lỗi/Báo cáo
Gửi
Thêm mới thư viện
Chỉ mình tôi có thể nhìn thấy
Công khai
Lưu
Chọn thư viện
Thêm mới thư viện
Hủy
Hoàn thành