MiniMax có thể sẽ mở mã nguồn mô hình 2,7 nghìn tỷ tham số trong quý 3, dự kiến trở thành mô hình nguồn mở lớn nhất toàn cầu.

Theo giám sát của Beating, The Information dẫn nguồn tin thân cận cho biết MiniMax đang phát triển một mô hình ngôn ngữ lớn với 2,7 nghìn tỷ tham số, dự kiến có thể ra mắt trong quý 3 và có kế hoạch mã nguồn mở. Mã nội bộ của mô hình là M3 Pro, nhưng tên phát hành cuối cùng vẫn chưa được xác định.

Nếu trọng số được mở theo đúng kế hoạch, mô hình này có thể trở thành mô hình mã nguồn mở có quy mô tham số lớn nhất toàn cầu. Mô hình hàng đầu hiện tại của MiniMax, M3, có 428 tỷ tham số, và mô hình mới có quy mô gấp khoảng 6,3 lần M3, đồng thời sẽ vượt qua nhiều mô hình trọng số mở nghìn tỷ hiện có.

Quy mô tham số lớn hơn thường có lợi cho các tác vụ suy luận phức tạp và hướng dẫn nhiều bước, nhưng hiệu suất cuối cùng vẫn phụ thuộc vào chất lượng huấn luyện, tham số kích hoạt, chi phí suy luận và kết quả đánh giá.