Theo giám sát của Động Sát Beating, Ryan Lee, người phụ trách quan hệ nhà phát triển của MiniMax, thông báo rằng thư viện chú ý hiệu suất cao MiniMax Sparse Attention (MSA) dành cho GPU NVIDIA Blackwell (SM100) đã chính thức được mã nguồn mở theo giao thức MIT. Ryan Lee đồng thời cho biết, trọng số của MiniMax-M3 dự kiến sẽ được phát hành vào thứ Sáu tuần này.
MSA đã được áp dụng cho suy luận ngữ cảnh triệu cấp của MiniMax-M3, bằng cách lọc các KV Block liên quan nhất trong mỗi nhóm GQA, chỉ thực hiện tính toán chú ý trên các khối đã chọn. Bài báo cho thấy, trong bối cảnh 1 triệu Token, so với Dense GQA cùng cấu hình, MSA có thể giảm lượng tính toán chú ý xuống 28,4 lần, đồng thời đạt được tăng tốc tiền điền 14,2 lần và tăng tốc giải mã 7,6 lần trên GPU H800.
Phiên bản mã nguồn mở tích hợp hai bộ triển khai C++ JIT và CuTe-DSL trong cùng một gói Python, đồng thời cung cấp Dense FlashAttention và Sparse Top-k Attention Kernel, hỗ trợ nhiều định dạng độ chính xác như BF16, FP8, NVFP4 và FP4. Hiện tại, nó chủ yếu được triển khai cho GPU NVIDIA Blackwell (SM100).
