BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Trang chủ
AI AI
Tin nhanh
Bài viết
Sự kiện
BlockBeats Pro
Thêm
Thông tin tài chính
Chuyên đề
Hệ sinh thái chuỗi khối
Mục nhập
Podcast
Data
OPRR
Partnered With:

Writer phát hiện tác dụng phụ của bộ nhớ dài hạn AI: tỷ lệ lỗi tăng gấp 2 đến 4 lần, mô hình dễ mù quáng theo thành kiến của người dùng

Theo dữ liệu giám sát từ Beating, công ty trí tuệ nhân tạo Writer đã công bố hai bài nghiên cứu chỉ ra rằng, mặc dù các mô hình lớn có thể chống lại sự phản bác trực tiếp từ người dùng, nhưng nếu những định kiến được ngụy trang thành "sở thích dài hạn" của người dùng và ghi vào bộ nhớ, mô hình sẽ thỏa hiệp trên diện rộng. Chức năng ghi nhớ vốn dùng để cải thiện trải nghiệm lại trở thành mảnh đất màu mỡ cho các lỗi của mô hình.

Nghiên cứu đã thử nghiệm các hệ thống bộ nhớ ngoài như Mem0, MemOS và Zep. Trong các bài kiểm tra khoa học, bộ nhớ dài hạn liên tục gọi lại các quan điểm sai lệch đã lưu trữ, khiến tỷ lệ lỗi của mô hình tăng vọt từ 2 đến 4 lần so với trạng thái không có bộ nhớ, ngay cả GPT-5.2 có khả năng mạnh hơn cũng không ngoại lệ. Trong các nhiệm vụ đề xuất sáng tạo, chỉ cần bộ nhớ đã lưu trữ sở thích của người dùng, mô hình sẽ thường xuyên lặp lại cùng một đề xuất trong các bối cảnh không liên quan, với tỷ lệ can thiệp lên tới hơn 87%, khiến tính đa dạng sáng tạo giảm một nửa.

Các tác nhân phân tích tài chính (Agent) cũng mắc lỗi trên diện rộng trong thử nghiệm: một khi bị cấy ghép định kiến, độ chính xác suy luận của một số mô hình giảm hơn 70%. Hơn nữa, khi thông tin sở thích được công cụ bộ nhớ gọi như dữ liệu nền, mô hình sẽ đưa ra câu trả lời sai nhưng hoàn toàn không thừa nhận bị ảnh hưởng bởi người dùng, khiến cho sự thiên lệch chiều chuộng (迎合偏差) cực kỳ khó phát hiện và chặn lại.

Việc ngăn chặn sự thiên lệch chiều chuộng không hề dễ dàng. Các biện pháp phòng thủ bằng prompt thông thường không chỉ có hiệu quả hạn chế mà còn làm suy yếu khả năng truy xuất của mô hình. Hiện tại, cách hiệu quả hơn là đánh giá độ tin cậy cho các nguồn dữ liệu ở đầu vào (ví dụ: tài liệu chính thức gắn 0,95, sở thích người dùng gắn 0,05) để hướng dẫn mô hình bỏ qua định kiến. Nhóm nghiên cứu nhấn mạnh rằng thách thức cốt lõi trong tương lai của các tác nhân cá nhân hóa không còn là không nhớ được người dùng, mà là làm thế nào để tránh ghi nhớ luôn cả định kiến của người dùng.

举报 Báo lỗi/Báo cáo
Liên quanĐề xuất
DuDuLab cũng sẽ thử nghiệm mô hình hoạt động mới của NFT AI vào tháng 2 năm 2023 và lô AIGC DuDu NFT thứ hai sẽ ra đời.
Báo lỗi/Báo cáo
Gửi
Thêm mới thư viện
Chỉ mình tôi có thể nhìn thấy
Công khai
Lưu
Chọn thư viện
Thêm mới thư viện
Hủy
Hoàn thành