动察 Beating AI tin nhanh, dự án đánh giá độc lập Assistant Benchmark bắt đầu dùng các tác vụ thực tế để đánh giá chéo các trợ lý AI cá nhân. Nó trực tiếp để Agent đặt khách sạn, chọn nhà hàng, mua đồ, trả lời email, kết nối dịch vụ bên thứ ba, rồi chấm điểm theo tình hình hoàn thành thực tế. Mỗi chiều đánh giá đều có một tác vụ cố định được công khai, và yêu cầu phải có bản ghi chạy thực tế mới được tính điểm.
Hiện tại Muse đạt trung bình 9,1 điểm trong 7 chiều đánh giá đã hoàn thành, tạm xếp thứ nhất; Instinct đã kiểm tra 11 chiều, trung bình 8,4 điểm; Grok Bot đã kiểm tra 7 chiều, trung bình 7,3 điểm. Muse đều đạt 10 điểm ở mua sắm, email và kết nối ứng dụng bên thứ ba.
Tuy nhiên điều này phù hợp hơn để xem như một bảng trải nghiệm thực tế được cập nhật liên tục. Mức 9,1 của Muse hiện chỉ là điểm trung bình của 7 chiều đã kiểm tra, không phải thành tích đầy đủ. Mỗi chiều hiện cũng chỉ dùng một tác vụ cố định để kiểm tra, sau khi bổ sung kiểm tra về sau thì điểm số và thứ hạng đều có thể thay đổi.
