DeepSeek có kế hoạch huấn luyện mô hình với 8 nghìn tỷ tham số, quy mô gần gấp 3 lần mô hình mã nguồn mở lớn nhất hiện có.

Động Sát Beating AI tin nhanh, DeepSeek lại sắp làm mô hình lớn hơn. CEO Lương Văn Phong tiết lộ với nhà đầu tư rằng công ty đang huấn luyện một mô hình 2 nghìn tỷ tham số, sau đó còn dự định phát triển một mô hình 8 nghìn tỷ tham số. Mô hình chủ lực hiện tại V4-Pro chỉ có 1,6 nghìn tỷ tham số.

8 nghìn tỷ là khái niệm gì? Trong số các mô hình siêu lớn đã công khai trọng số hiện nay, Kimi K3 của Moonshot AI đạt 2,8 nghìn tỷ tham số, đã là mô hình mã nguồn mở lớn nhất toàn cầu. Mô hình 8 nghìn tỷ đang được DeepSeek quy hoạch, quy mô còn lớn hơn gần 3 lần.

Tuy nhiên tổng tham số càng nhiều, không có nghĩa mỗi lần chạy đều phải gọi toàn bộ tham số. Kimi K3 chính là kiến trúc MoE, trong 2,8 nghìn tỷ tổng tham số mỗi Token chỉ kích hoạt 104 tỷ.