BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Trang chủ
AI AI
Tin nhanh
Bài viết
Sự kiện
BlockBeats Pro
Thêm
Thông tin tài chính
Chuyên đề
Hệ sinh thái chuỗi khối
Mục nhập
Podcast
Data
OPRR
Partnered With:

Dù công cụ có tinh xảo đến đâu cũng khó đoán lòng người, Meituan ra mắt chuẩn mực mới cho tác nhân thông minh VitaBench 2.0

Theo Động Sát Beating giám sát, nhóm LongCat của Meituan đã hợp tác với Đại học Quốc gia Singapore, Đại học Khoa học và Công nghệ Trung Quốc, Đại học Bưu chính Viễn thông Bắc Kinh và Đại học Chiết Giang để công bố tiêu chuẩn đánh giá tác nhân thông minh VitaBench 2.0. Hệ thống đánh giá mở rộng bài kiểm tra mô hình lớn từ tác vụ đơn lẻ sang dịch vụ đời sống đa phiên dài hạn, đánh giá hiệu suất của tác nhân thông minh trong việc mô hình hóa cá nhân hóa và tương tác chủ động.

Đánh giá mô phỏng tương tác người-máy trong chu kỳ dài, bao gồm 56 hồ sơ người dùng, hơn 2000 nhãn sở thích động, và 819 yêu cầu dịch vụ trong các lĩnh vực như giao đồ ăn, tiêu dùng tại cửa hàng và du lịch trực tuyến. Kết quả kiểm tra cho thấy, khi tỷ lệ lỗi gọi công cụ giảm đáng kể, việc nắm bắt và áp dụng sở thích người dùng đã trở thành nút thắt cốt lõi hạn chế việc triển khai tác nhân thông minh.

Trong các bài đánh giá trên nhiều mô hình lớn tiên tiến, những khiếm khuyết của mô hình lớn trong dịch vụ cá nhân hóa dài hạn đã bị phơi bày tập trung. Ngay cả trong chế độ toàn cảnh lý tưởng nhất có thể đọc toàn bộ lịch sử, hiệu suất trung bình (Avg@4) của Claude-Opus-4.6 khi chạy độc lập bốn lần chỉ đạt 0,503, và DeepSeek-V4-Pro, mô hình không suy luận mạnh nhất, cũng chỉ đạt 0,456.

Sau khi hầu hết các mô hình giới thiệu mô-đun bộ nhớ ngoài, hiệu suất không ổn định hơn so với đường cơ sở toàn cảnh. Bộ nhớ do tác nhân thông minh tự kiểm soát thường mất thông tin trong quá trình cập nhật, trong khi tạo sinh hỗ trợ truy xuất (RAG) dễ bị nhiễu bề mặt tương tự gây ảnh hưởng. Đồng thời, việc bật chế độ suy luận không mang lại lợi thế hệ thống cho mô hình hóa cá nhân hóa, cho thấy lọc nhiễu và đặt câu hỏi chủ động không thể giải quyết chỉ dựa vào suy luận logic.

Kiểm tra cũng tiết lộ những điểm yếu cố hữu của mô hình lớn trong việc đặt câu hỏi chủ động và áp dụng sở thích. Khi thiếu thông tin, mô hình thường phỏng đoán mù quáng và đưa ra quyết định vội vàng, khiến hiệu suất của tác nhân Claude trong các tác vụ tương tác chủ động giảm từ 46,0 xuống còn 27,4, DeepSeek từ 44,1 xuống 27,8, và GLM cũng từ 36,4 giảm xuống 19,3. Ngay cả khi nhập trực tiếp dữ liệu sở thích tiêu chuẩn chính xác nhất vào bộ nhớ, điểm số của DeepSeek và Claude cũng chỉ đạt 52,7 và 51,2, cho thấy trong quá trình ra quyết định thực tế của mô hình lớn, việc sắp xếp hợp lý, tích hợp và thực thi sở thích người dùng khó khăn hơn nhiều so với việc trích xuất sở thích.

Phân tích nguyên nhân lỗi cho thấy, khi năng lực của mô hình lớn tiến hóa, lỗi liên quan đến sử dụng công cụ giảm đáng kể, trong khi lỗi do hiểu sai sở thích bắt đầu chiếm ưu thế. Rào cản cốt lõi trong tương lai của tác nhân thông minh sẽ không còn là gọi công cụ đơn thuần, mà là làm thế nào để thực sự hiểu và ghi nhớ những ẩn ý của người dùng.

举报 Báo lỗi/Báo cáo
Báo lỗi/Báo cáo
Gửi
Thêm mới thư viện
Chỉ mình tôi có thể nhìn thấy
Công khai
Lưu
Chọn thư viện
Thêm mới thư viện
Hủy
Hoàn thành