BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Trang chủ
AI AI
Tin nhanh
Bài viết
Sự kiện
BlockBeats Pro
Thêm
Thông tin tài chính
Chuyên đề
Hệ sinh thái chuỗi khối
Mục nhập
Podcast
Data
OPRR
Partnered With:

Cơ chế chú ý thưa thớt còn có thể tăng tốc thế nào? LSA giúp GLM nhanh hơn 22,7 lần ở lớp đơn với hàng chục triệu Token.

Động Sát Beating AI tin nhanh, viện nghiên cứu AI Prefrontal của Anh cùng các nhà nghiên cứu tại ETH Zurich đã mã nguồn mở Latent Sparse Attention (LSA), một kỹ thuật sparse attention dành cho ngữ cảnh siêu dài.


Các mô hình như DeepSeek, MiniMax, Zhipu đã áp dụng sparse attention, mỗi lần chỉ xử lý một lượng nhỏ Token quan trọng, giảm tính toán. Nhưng để tìm ra các Token này, nhiều phương pháp hiện có vẫn phải dùng bộ chỉ mục nhẹ quét toàn bộ thông tin lịch sử, chấm điểm từng cái một. Trong thí nghiệm với GLM-5.3-Flash ở 10 triệu Token, các nhà nghiên cứu phát hiện thời gian prefill của một lớp sparse attention có tới 98% dành cho việc sàng lọc thông tin.


LSA trước tiên dựa trên độ tương đồng nội dung để gom các Token ở các vị trí khác nhau thành nhóm, sau đó để bộ chỉ mục chấm điểm các nhóm này, từ đó chọn ra các Token liên quan. Nhờ vậy, các Token vốn cần kiểm tra từng cái một có thể được sàng lọc theo nhóm trước. Nhóm nghiên cứu còn thử xây dựng chỉ mục đa cấp, giúp mô hình thu hẹp phạm vi tìm kiếm từng lớp, không cần tra toàn bộ các nhóm mỗi lần.


Các nhà nghiên cứu tích hợp LSA vào GLM-5.3-Flash và Qwen-3.8-27B, giữ nguyên trọng số mô hình gốc, chỉ huấn luyện thêm một lượng nhỏ tham số chỉ mục. Trên NVIDIA H200, prefill một lớp của GLM nhanh hơn 22,7 lần so với sparse attention gốc, độ trễ Token đầu tiên của toàn mô hình giảm khoảng 55%. Qwen so với full attention gốc có prefill một lớp nhanh hơn 72,4 lần, độ trễ Token đầu tiên của toàn mô hình giảm khoảng 89%.


Tuy nhiên, thành tích tăng tốc cao nhất đến từ phiên bản vẫn phải quét toàn bộ các nhóm. Chỉ mục đa cấp có thể giảm thêm lượng tìm kiếm lại xuất hiện mức giảm độ chính xác rõ rệt trong thử nghiệm 10 triệu Token của GLM.


Nếu có thể giữ được độ chính xác đồng thời khiến việc truy xuất không cần duyệt toàn bộ lịch sử, AI sẽ có cơ hội xử lý hiệu quả hơn hàng chục triệu Token mã nguồn, tài liệu và nhật ký vận hành Agent dài hạn. Hiện tại LSA đã chứng minh hiệu quả tăng tốc của việc nhóm theo ngữ nghĩa, nhưng truy xuất đa cấp vẫn cần được cải thiện thêm.

举报 Báo lỗi/Báo cáo
Báo lỗi/Báo cáo
Gửi
Thêm mới thư viện
Chỉ mình tôi có thể nhìn thấy
Công khai
Lưu
Chọn thư viện
Thêm mới thư viện
Hủy
Hoàn thành