BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Trang chủ
AI AI
Tin nhanh
Bài viết
Sự kiện
BlockBeats Pro
Thêm
Thông tin tài chính
Chuyên đề
Hệ sinh thái chuỗi khối
Mục nhập
Podcast
Data
OPRR
Partnered With:

MiniMax đã mã nguồn mở thư viện chú ý dành riêng cho Blackwell, trọng số M3 dự kiến sẽ được phát hành vào thứ Sáu tuần này.

Theo giám sát của Động Sát Beating, Ryan Lee, người phụ trách quan hệ nhà phát triển của MiniMax, thông báo rằng thư viện chú ý hiệu suất cao MiniMax Sparse Attention (MSA) dành cho GPU NVIDIA Blackwell (SM100) đã chính thức được mã nguồn mở theo giao thức MIT. Ryan Lee đồng thời cho biết, trọng số của MiniMax-M3 dự kiến sẽ được phát hành vào thứ Sáu tuần này.

MSA đã được áp dụng cho suy luận ngữ cảnh triệu cấp của MiniMax-M3, bằng cách lọc các KV Block liên quan nhất trong mỗi nhóm GQA, chỉ thực hiện tính toán chú ý trên các khối đã chọn. Bài báo cho thấy, trong bối cảnh 1 triệu Token, so với Dense GQA cùng cấu hình, MSA có thể giảm lượng tính toán chú ý xuống 28,4 lần, đồng thời đạt được tăng tốc tiền điền 14,2 lần và tăng tốc giải mã 7,6 lần trên GPU H800.

Phiên bản mã nguồn mở tích hợp hai bộ triển khai C++ JIT và CuTe-DSL trong cùng một gói Python, đồng thời cung cấp Dense FlashAttention và Sparse Top-k Attention Kernel, hỗ trợ nhiều định dạng độ chính xác như BF16, FP8, NVFP4 và FP4. Hiện tại, nó chủ yếu được triển khai cho GPU NVIDIA Blackwell (SM100).

举报 Báo lỗi/Báo cáo
Liên quanĐề xuất
Tiền ít, thẻ ít, người ít, lại thúc đẩy sự phát triển của khả năng kỹ thuật và sáng tạo kiến trúc đến đỉnh cao.
Goldman Sachs đánh giá cao MiniMax nhờ sản phẩm mới và lợi thế chi phí để phục hồi định giá.
Không phụ thuộc vào thương hiệu, không phụ thuộc vào quảng cáo, trong vòng 8 ngày để nhà phát triển bỏ phiếu bằng chân
Báo lỗi/Báo cáo
Gửi
Thêm mới thư viện
Chỉ mình tôi có thể nhìn thấy
Công khai
Lưu
Chọn thư viện
Thêm mới thư viện
Hủy
Hoàn thành