Theo dõi từ Động Sát Beating, tờ Financial Times của Anh dẫn lời ba người am hiểu sự việc cho biết, ByteDance đã bắt đầu tiền huấn luyện một mô hình lớn với tối đa 10 nghìn tỷ tham số. Dự án vẫn đang ở giai đoạn đầu, quy mô cuối cùng chưa được xác định. Nếu huấn luyện ở mức trần, nó sẽ gấp hơn ba lần Kimi K3, trở thành mô hình có quy mô tham số lớn nhất được biết đến trong các đội ngũ Trung Quốc hiện nay.
Lần này ByteDance trực tiếp đẩy kích thước mô hình lên gần với các mô hình hàng đầu của Anthropic. Anthropic chưa bao giờ công bố số tham số của Mythos 5, nhưng Financial Times dẫn ước tính từ ngành cho biết, Mythos 5 có khoảng 8 nghìn tỷ tham số, Fable 5 khoảng 5 nghìn tỷ. Nếu mô hình mới của ByteDance đạt 10 nghìn tỷ, ít nhất về quy mô tham số, nó đã bước vào cùng đẳng cấp với các mô hình đóng mã nguồn tiên tiến nhất của Mỹ.
Mô hình này hiện vẫn đang trong giai đoạn tiền huấn luyện (dùng lượng dữ liệu khổng lồ để huấn luyện khả năng cơ bản của mô hình). Financial Times cho biết, giai đoạn này thường mất từ 3 đến 6 tháng, sau đó tiếp tục hậu huấn luyện, chỉ khi thuận lợi mới phát hành. Nhiều tham số hơn không đồng nghĩa với khả năng mạnh hơn, hiệu quả cuối cùng còn phụ thuộc vào kiến trúc, dữ liệu huấn luyện và phương pháp huấn luyện.
Trương Nhất Minh gần đây đã phản đối rõ ràng việc chưng cất mô hình đối thủ cạnh tranh trong nội bộ Seed, yêu cầu đội ngũ chấp nhận tụt hậu trong ngắn hạn, dựa vào tự nghiên cứu để vươn lên nhóm dẫn đầu thế giới. Mô hình mới với tối đa 10 nghìn tỷ tham số này là canh bạc quy mô táo bạo nhất của ByteDance hiện tại.
