Theo giám sát của Động Sát Beating, Moon's Dark Side đã công bố báo cáo kỹ thuật về Kimi K3. K3 sở hữu tổng cộng 2,8 nghìn tỷ tham số, với 104 tỷ tham số được kích hoạt cho mỗi Token, và kiến trúc nền tảng đã được thay thế hoàn toàn so với K2.
Việc tăng tham số chỉ là một phần. Moon's Dark Side cho biết, kiến trúc, dữ liệu và phương pháp huấn luyện mới giúp hiệu suất mở rộng tổng thể của K3 cao hơn khoảng 2,5 lần so với K2. Theo đường cong Scaling Law của họ, lượng tính toán huấn luyện cần thiết để đạt cùng mức tổn thất xác thực chỉ bằng khoảng 40% so với K2.
Đầu tiên, K3 đã viết lại cơ chế Attention. Nó sử dụng KDA để xử lý các chuỗi dài, và cứ mỗi ba lớp lại thêm một lớp MLA toàn cục. KDA nén nội dung trước đó vào trạng thái có kích thước cố định, giảm áp lực tính toán và bộ nhớ đệm cho ngữ cảnh hàng triệu Token; MLA chịu trách nhiệm duy trì trao đổi thông tin toàn cục.
Nó cũng bổ sung Attention Residuals. Các mô hình truyền thống chỉ có thể liên tục chồng chất thông tin từ tất cả các lớp trước, trong khi K3 cho phép mỗi lớp trực tiếp chọn nội dung cần thiết từ các khối mạng sớm hơn. Khi mô hình sâu hơn, thông tin ban đầu khó bị pha loãng hơn.
MoE cũng được thiết kế lại. K3 có 896 chuyên gia định tuyến, mỗi Token kích hoạt 16 chuyên gia, gấp đôi so với K2. Các chuyên gia định tuyến trước tiên tính toán trong không gian nén, sau đó quay trở lại phần chính của mô hình. Các hàm kích hoạt và thuật toán cân bằng tải mới được sử dụng để ngăn chặn việc huấn luyện mô hình siêu lớn mất kiểm soát.
Điều thực sự nâng cao khả năng Agent còn là quá trình hậu huấn luyện. Moon's Dark Side lần lượt huấn luyện các mô hình đa năng, Agent và mã nguồn, sau đó huấn luyện ba cường độ suy luận cho mỗi hướng, và cuối cùng hợp nhất chín chuyên gia. Nhiệm vụ huấn luyện dài nhất có thể bao gồm hàng nghìn lần gọi công cụ, và liên tục duy trì trạng thái của tệp, ứng dụng và máy ảo.
K3 đã tiếp cận hoặc dẫn trước các mô hình nguồn đóng hàng đầu như Fable 5 và GPT-5.6 Sol trong nhiều bài kiểm tra về mã nguồn, tìm kiếm và gọi công cụ. Sự vượt trội của nó không chỉ dựa vào việc tăng tham số, mà là đẩy nền tảng lớn hơn, kiến trúc mới và học tăng cường Agent với hàng triệu Token lên giới hạn cùng một lúc.
