Arena ra mắt AutoEval: AI mô phỏng chấm điểm như người thật trước, mô hình mới có kết quả chỉ trong 1 giờ

Theo động sát Beating theo dõi, nền tảng đánh giá mô hình lớn Arena đã ra mắt AutoEval, sử dụng mô hình phần thưởng (mô hình chấm điểm học từ sở thích của người thật) để mô phỏng phiếu bầu của người dùng, nhanh chóng tạo ra điểm số bảng xếp hạng cho các mô hình mới. Sau khi mô hình mới được phát hành, không cần chờ đợi nhiều ngày để tích lũy phiếu bầu từ người thật, chỉ mất chưa đầy 1 giờ là có thể nhận được thứ hạng ước tính. Điểm số này sẽ được ghi chú là AutoEval, sau đó sẽ được hiệu chỉnh bởi kết quả bình chọn của người thật.

Hệ thống này được huấn luyện dựa trên hàng triệu bộ dữ liệu về sở thích thực tế của người dùng. Khi đánh giá, AutoEval sẽ so sánh chất lượng phản hồi của các mô hình khác nhau và tính điểm theo quy tắc bảng xếp hạng gốc của Arena. Hiện tại, nó hỗ trợ đánh giá các mô hình văn bản, thị giác, tạo hình ảnh và mã nguồn.

Kiểm tra ngược của Arena cho thấy, mức độ tương quan giữa AutoEval và thứ hạng người thật sau đó vượt quá 0,98. Khi chênh lệch điểm thực tế giữa hai mô hình vượt quá 10 điểm, độ chính xác của nó trong việc xác định thắng thua vượt quá 90%; khi chênh lệch vượt quá 15 điểm, đạt 100%. Tuy nhiên, khi chênh lệch giữa các mô hình nhỏ hơn 5 điểm, vẫn khó phân biệt một cách ổn định.