BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Trang chủ
AI AI
Tin nhanh
Bài viết
Sự kiện
BlockBeats Pro
Thêm
Thông tin tài chính
Chuyên đề
Hệ sinh thái chuỗi khối
Mục nhập
Podcast
Data
OPRR
Partnered With:

Kimi K3 dựa vào đâu để đuổi kịp Fable 5? Mặt tối của mặt trăng đồng thời viết lại cơ chế chú ý, phần dư và MoE.

Theo giám sát của Động Sát Beating, Moon's Dark Side đã công bố báo cáo kỹ thuật về Kimi K3. K3 sở hữu tổng cộng 2,8 nghìn tỷ tham số, với 104 tỷ tham số được kích hoạt cho mỗi Token, và kiến trúc nền tảng đã được thay thế hoàn toàn so với K2.

Việc tăng tham số chỉ là một phần. Moon's Dark Side cho biết, kiến trúc, dữ liệu và phương pháp huấn luyện mới giúp hiệu suất mở rộng tổng thể của K3 cao hơn khoảng 2,5 lần so với K2. Theo đường cong Scaling Law của họ, lượng tính toán huấn luyện cần thiết để đạt cùng mức tổn thất xác thực chỉ bằng khoảng 40% so với K2.

Đầu tiên, K3 đã viết lại cơ chế Attention. Nó sử dụng KDA để xử lý các chuỗi dài, và cứ mỗi ba lớp lại thêm một lớp MLA toàn cục. KDA nén nội dung trước đó vào trạng thái có kích thước cố định, giảm áp lực tính toán và bộ nhớ đệm cho ngữ cảnh hàng triệu Token; MLA chịu trách nhiệm duy trì trao đổi thông tin toàn cục.

Nó cũng bổ sung Attention Residuals. Các mô hình truyền thống chỉ có thể liên tục chồng chất thông tin từ tất cả các lớp trước, trong khi K3 cho phép mỗi lớp trực tiếp chọn nội dung cần thiết từ các khối mạng sớm hơn. Khi mô hình sâu hơn, thông tin ban đầu khó bị pha loãng hơn.

MoE cũng được thiết kế lại. K3 có 896 chuyên gia định tuyến, mỗi Token kích hoạt 16 chuyên gia, gấp đôi so với K2. Các chuyên gia định tuyến trước tiên tính toán trong không gian nén, sau đó quay trở lại phần chính của mô hình. Các hàm kích hoạt và thuật toán cân bằng tải mới được sử dụng để ngăn chặn việc huấn luyện mô hình siêu lớn mất kiểm soát.

Điều thực sự nâng cao khả năng Agent còn là quá trình hậu huấn luyện. Moon's Dark Side lần lượt huấn luyện các mô hình đa năng, Agent và mã nguồn, sau đó huấn luyện ba cường độ suy luận cho mỗi hướng, và cuối cùng hợp nhất chín chuyên gia. Nhiệm vụ huấn luyện dài nhất có thể bao gồm hàng nghìn lần gọi công cụ, và liên tục duy trì trạng thái của tệp, ứng dụng và máy ảo.

K3 đã tiếp cận hoặc dẫn trước các mô hình nguồn đóng hàng đầu như Fable 5 và GPT-5.6 Sol trong nhiều bài kiểm tra về mã nguồn, tìm kiếm và gọi công cụ. Sự vượt trội của nó không chỉ dựa vào việc tăng tham số, mà là đẩy nền tảng lớn hơn, kiến trúc mới và học tăng cường Agent với hàng triệu Token lên giới hạn cùng một lúc.

Liên quanĐề xuất
Citigroup và Bank of America Securities cho rằng, mặc dù Kimi K3 giảm chi phí suy luận, nhưng có thể kích thích nhiều lệnh gọi hơn, ngữ cảnh dài hơn và các tác vụ tác nhân thông qua "Nghịch lý Jevons", từ đó đẩy cao nhu cầu về GPU, HBM, DDR5, eSSD và cơ sở hạ tầng mạng.
Người nước ngoài nói rằng còn sốc hơn cả ngày vệ tinh Liên Xô phóng lên không trung.
Anthropic đã mở quyền truy cập mô hình cấp Mythos Fable 5 cho người dùng thông thường, đồng thời hạn chế khả năng rủi ro cao thông qua phân cấp quyền.
Báo lỗi/Báo cáo
Gửi
Thêm mới thư viện
Chỉ mình tôi có thể nhìn thấy
Công khai
Lưu
Chọn thư viện
Thêm mới thư viện
Hủy
Hoàn thành