BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Trang chủ
AI AI
Tin nhanh
Bài viết
Sự kiện
BlockBeats Pro
Thêm
Thông tin tài chính
Chuyên đề
Hệ sinh thái chuỗi khối
Mục nhập
Podcast
Data
OPRR
Partnered With:

MiniMax M3 chính thức mã nguồn mở, hỗ trợ đa phương thức gốc với ngữ cảnh triệu token.

Theo động sát Beating giám sát, nhà sản xuất mô hình lớn nội địa MiniMax đã chính thức mã nguồn mở trọng số mô hình hỗn hợp chuyên gia đa phương thức gốc (MoE) MiniMax M3 trên Hugging Face. Tổng số tham số của MiniMax M3 là 428 tỷ, kích hoạt 23 tỷ tham số cho mỗi Token, hỗ trợ gốc ngữ cảnh siêu dài 1 triệu. Để giảm chi phí bộ nhớ triển khai, nhóm phát triển đã đồng thời phát hành phiên bản lượng tử hóa MXFP8 và thích ứng với các khung suy luận chính thống như SGLang, vLLM, Transformers.

Về thiết kế đa phương thức, MiniMax M3 tiến hành huấn luyện kết hợp văn bản, hình ảnh và video ngay từ giai đoạn tiền huấn luyện để đạt được tích hợp ngữ nghĩa gốc, thay vì căn chỉnh đa phương thức ở giai đoạn hậu huấn luyện. Về cơ chế vận hành, mô hình cung cấp chế độ suy luận kép, bao gồm chế độ Thinking (Suy nghĩ) dành cho logic phức tạp và sắp xếp công cụ, và chế độ Non-thinking (Không suy nghĩ) dành cho hội thoại độ trễ thấp và sinh mã.

Nhân cốt lõi hỗ trợ ngữ cảnh siêu dài triệu token là thư viện nhân chú ý thưa nhẹ mã nguồn mở đồng thời MiniMax Sparse Attention (gọi tắt là MSA). Dữ liệu chính thức công bố cho thấy, MSA sử dụng cơ chế truy xuất khối nhóm truy vấn chú ý (GQA), trong thử nghiệm thực tế với ngữ cảnh cực dài 1 triệu Token, toán tử MSA tối ưu hóa cho kiến trúc NVIDIA Blackwell (SM100) so với cơ chế chú ý toàn phần truyền thống, có thể đạt được tăng tốc tiền điền hơn 9 lần và tăng tốc giải mã 15 lần, đồng thời giảm đáng kể chi phí suy luận.

举报 Báo lỗi/Báo cáo
Liên quanĐề xuất
Goldman Sachs đánh giá cao MiniMax nhờ sản phẩm mới và lợi thế chi phí để phục hồi định giá.
Tiền ít, thẻ ít, người ít, lại thúc đẩy sự phát triển của khả năng kỹ thuật và sáng tạo kiến trúc đến đỉnh cao.
Không phụ thuộc vào thương hiệu, không phụ thuộc vào quảng cáo, trong vòng 8 ngày để nhà phát triển bỏ phiếu bằng chân
NVIDIA đã giảm cấp độ bảo vệ của mình trong việc huấn luyện mô hình lớn tại Trung Quốc từ "bắt buộc" xuống cấp độ "tùy chọn".
Báo lỗi/Báo cáo
Gửi
Thêm mới thư viện
Chỉ mình tôi có thể nhìn thấy
Công khai
Lưu
Chọn thư viện
Thêm mới thư viện
Hủy
Hoàn thành