BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Trang chủ
AI AI
Tin nhanh
Bài viết
Sự kiện
BlockBeats Pro
Thêm
Thông tin tài chính
Chuyên đề
Hệ sinh thái chuỗi khối
Mục nhập
Podcast
Data
OPRR
Partnered With:

Baseten ra mắt giải pháp nén bộ nhớ đệm KV mang tên Still: nén tối đa 200 lần trong một lần truyền xuôi.

Theo dõi từ Động Sát Beating, nhóm nghiên cứu Baseten đã công bố phương pháp nén bộ nhớ đệm KV mang tên Still. Bằng cách đóng băng các tham số của mô hình nền tảng và chỉ huấn luyện bộ nén Perceiver nhẹ, quá trình nén bộ nhớ đệm KV có thể hoàn tất chỉ trong một lần truyền xuôi, hỗ trợ tỷ lệ nén lên tới 200 lần mà không cần tối ưu hóa trực tuyến hay cập nhật gradient.

Các phương pháp nén KV hiện tại thường được chia thành hai loại. Một loại chọn lọc các bộ nhớ đệm quan trọng từ các Token gốc, chẳng hạn như SnapKV và H2O. Loại còn lại trực tiếp tạo ra các bộ nhớ đệm nén mới, nhưng thường yêu cầu tối ưu hóa trực tuyến cho từng ngữ cảnh cụ thể. Still áp dụng cách tiếp cận tổng hợp phân bổ (Amortized Synthesis), thêm vào mỗi lớp Transformer một bộ nén Perceiver có quy mô tham số khoảng 1% so với mô hình nền tảng. Bộ nén này thực hiện cross-attention với toàn bộ bộ nhớ đệm KV thông qua các truy vấn ẩn, từ đó trực tiếp tạo ra bộ nhớ đệm KV nén mới.

Trong các thử nghiệm trên mô hình Qwen và Gemma, Still duy trì độ chính xác cao trong phạm vi ngữ cảnh từ 8k đến 64k và tỷ lệ nén từ 8 đến 200 lần. Trên chuẩn đánh giá ngữ cảnh dài RULER, Still vượt trội hơn các phương pháp như SnapKV, H2O và KV-Distill trong hầu hết các thiết lập, dẫn trước KV-Distill từ 8 đến 22 điểm phần trăm trong các tác vụ matched-training. Trong bài kiểm tra tóm tắt đa tài liệu HELMET, bộ nhớ đệm sau nén vẫn có thể khôi phục từ 74% đến 95% hiệu suất toàn ngữ cảnh.

So với các giải pháp yêu cầu giữ lại Token gốc hoặc phụ thuộc vào tối ưu hóa trực tuyến, Still chuyển đổi quá trình nén KV thành một quá trình học tập có thể hoàn tất chỉ qua một lần suy luận xuôi, mở ra một hướng đi mới cho việc nén bộ nhớ đệm trong suy luận ngữ cảnh siêu dài.

举报 Báo lỗi/Báo cáo
Liên quanĐề xuất
Powell không tin rằng việc cắt giảm lãi suất mạnh mẽ cho thấy cuộc suy thoái kinh tế của Mỹ đang đến gần. Đó là một hành động phòng ngừa nhằm duy trì hiện trạng "lành mạnh" của nền kinh tế và thị trường lao động.
Báo lỗi/Báo cáo
Gửi
Thêm mới thư viện
Chỉ mình tôi có thể nhìn thấy
Công khai
Lưu
Chọn thư viện
Thêm mới thư viện
Hủy
Hoàn thành