Động Sát Beating AI tin nhanh, công ty AI trí nhớ Engram hợp tác với công ty AI pháp lý Harvey thực hiện một thí nghiệm: đầu tiên tạo ra một công ty luật ảo, bên trong có 100 triệu Token, gần 10.000 tài liệu và 266 vụ việc pháp lý, sau đó cho Qwen3.8-27B học trước những kiến thức này "vào đầu". Một phần được ghi trực tiếp vào tham số mô hình, một phần được sắp xếp thành ghi chú, khi cần thì tìm kiếm.
Kết quả là mô hình nhỏ 27B này đạt điểm trung bình 67% trong 250 nhiệm vụ pháp lý, vượt qua tất cả các mô hình tham gia thử nghiệm. Chi phí mỗi lần truy vấn khoảng 0,13 USD, chỉ bằng 1/10 đến 1/24 so với suy luận cường độ cao của Claude Opus 4.8. Về tỷ lệ trả lời đúng toàn bộ câu hỏi nghiêm ngặt hơn, nó cũng dẫn trước Opus 4.8 với tỷ lệ 30% so với 25%.
Trước khi huấn luyện, không cung cấp công cụ tìm kiếm cho Qwen, hỏi trực tiếp về các sự việc cụ thể trong công ty luật, độ chính xác chỉ đạt 4,7%. Sau khi huấn luyện tăng lên 72,6%. Mô hình sau huấn luyện cũng giỏi tìm tài liệu hơn, 99,2% nhiệm vụ ngay từ đầu sẽ thực hiện tìm kiếm định hướng trực tiếp.
Tuy nhiên, hiện tại thí nghiệm vẫn sử dụng công ty luật ảo. Dữ liệu của công ty thực tế thay đổi hàng ngày, làm thế nào để mô hình liên tục cập nhật trí nhớ vẫn là thách thức lớn nhất.
