Theo dõi từ Động Sát Beating, nhóm nghiên cứu Baseten đã công bố phương pháp nén bộ nhớ đệm KV mang tên Still. Bằng cách đóng băng các tham số của mô hình nền tảng và chỉ huấn luyện bộ nén Perceiver nhẹ, quá trình nén bộ nhớ đệm KV có thể hoàn tất chỉ trong một lần truyền xuôi, hỗ trợ tỷ lệ nén lên tới 200 lần mà không cần tối ưu hóa trực tuyến hay cập nhật gradient.
Các phương pháp nén KV hiện tại thường được chia thành hai loại. Một loại chọn lọc các bộ nhớ đệm quan trọng từ các Token gốc, chẳng hạn như SnapKV và H2O. Loại còn lại trực tiếp tạo ra các bộ nhớ đệm nén mới, nhưng thường yêu cầu tối ưu hóa trực tuyến cho từng ngữ cảnh cụ thể. Still áp dụng cách tiếp cận tổng hợp phân bổ (Amortized Synthesis), thêm vào mỗi lớp Transformer một bộ nén Perceiver có quy mô tham số khoảng 1% so với mô hình nền tảng. Bộ nén này thực hiện cross-attention với toàn bộ bộ nhớ đệm KV thông qua các truy vấn ẩn, từ đó trực tiếp tạo ra bộ nhớ đệm KV nén mới.
Trong các thử nghiệm trên mô hình Qwen và Gemma, Still duy trì độ chính xác cao trong phạm vi ngữ cảnh từ 8k đến 64k và tỷ lệ nén từ 8 đến 200 lần. Trên chuẩn đánh giá ngữ cảnh dài RULER, Still vượt trội hơn các phương pháp như SnapKV, H2O và KV-Distill trong hầu hết các thiết lập, dẫn trước KV-Distill từ 8 đến 22 điểm phần trăm trong các tác vụ matched-training. Trong bài kiểm tra tóm tắt đa tài liệu HELMET, bộ nhớ đệm sau nén vẫn có thể khôi phục từ 74% đến 95% hiệu suất toàn ngữ cảnh.
So với các giải pháp yêu cầu giữ lại Token gốc hoặc phụ thuộc vào tối ưu hóa trực tuyến, Still chuyển đổi quá trình nén KV thành một quá trình học tập có thể hoàn tất chỉ qua một lần suy luận xuôi, mở ra một hướng đi mới cho việc nén bộ nhớ đệm trong suy luận ngữ cảnh siêu dài.
