Theo động sát Beating giám sát, nhà sản xuất mô hình lớn nội địa MiniMax đã chính thức mã nguồn mở trọng số mô hình hỗn hợp chuyên gia đa phương thức gốc (MoE) MiniMax M3 trên Hugging Face. Tổng số tham số của MiniMax M3 là 428 tỷ, kích hoạt 23 tỷ tham số cho mỗi Token, hỗ trợ gốc ngữ cảnh siêu dài 1 triệu. Để giảm chi phí bộ nhớ triển khai, nhóm phát triển đã đồng thời phát hành phiên bản lượng tử hóa MXFP8 và thích ứng với các khung suy luận chính thống như SGLang, vLLM, Transformers.
Về thiết kế đa phương thức, MiniMax M3 tiến hành huấn luyện kết hợp văn bản, hình ảnh và video ngay từ giai đoạn tiền huấn luyện để đạt được tích hợp ngữ nghĩa gốc, thay vì căn chỉnh đa phương thức ở giai đoạn hậu huấn luyện. Về cơ chế vận hành, mô hình cung cấp chế độ suy luận kép, bao gồm chế độ Thinking (Suy nghĩ) dành cho logic phức tạp và sắp xếp công cụ, và chế độ Non-thinking (Không suy nghĩ) dành cho hội thoại độ trễ thấp và sinh mã.
Nhân cốt lõi hỗ trợ ngữ cảnh siêu dài triệu token là thư viện nhân chú ý thưa nhẹ mã nguồn mở đồng thời MiniMax Sparse Attention (gọi tắt là MSA). Dữ liệu chính thức công bố cho thấy, MSA sử dụng cơ chế truy xuất khối nhóm truy vấn chú ý (GQA), trong thử nghiệm thực tế với ngữ cảnh cực dài 1 triệu Token, toán tử MSA tối ưu hóa cho kiến trúc NVIDIA Blackwell (SM100) so với cơ chế chú ý toàn phần truyền thống, có thể đạt được tăng tốc tiền điền hơn 9 lần và tăng tốc giải mã 15 lần, đồng thời giảm đáng kể chi phí suy luận.
