SemiAnalysis: Kimi K3 giảm đáng kể băng thông truyền tải KV, nhưng không làm giảm nhu cầu mạng AI.

BlockBeats tin tức, ngày 19 tháng 7, tổ chức nghiên cứu độc lập về bán dẫn và AI SemiAnalysis cho biết, mặc dù khoảng ba phần tư lớp mạng của Kimi K3 sử dụng KDA, so với mô hình chú ý toàn cục hoàn chỉnh, có thể giảm băng thông truyền tải bộ nhớ đệm KV tới 10 lần, nhưng điều này không có nghĩa là quy mô thị trường switch mạng AI sẽ thu hẹp đáng kể.

Kimi K3 có 2,8 nghìn tỷ tham số, ngay cả khi sử dụng MXFP4, mỗi lần tính toán tiến vẫn cần khoảng 1,5TB băng thông HBM. Để triển khai có lợi nhuận trong khi duy trì tốc độ tương tác hợp lý, vẫn cần kết nối một lượng lớn chip thông qua các mạng băng thông cao như GB300 NVL72 và phụ thuộc vào dịch vụ mở rộng WideEP.

WideEP sẽ phân tán 896 mô hình chuyên gia trên nhiều GPU, và thực hiện phân phối Token cùng tổng hợp kết quả hai lần trong mỗi lớp và mỗi lần tính toán tiến, một lần tính toán tiến cần thực hiện hơn 120 lần. So sánh, việc truyền tải bộ nhớ đệm KV giữa pre-fill và giải mã chỉ xảy ra một lần mỗi vòng đối thoại, do đó băng thông truyền tải tiết kiệm được từ KDA có thể nhỏ hơn nhiều so với nhu cầu mạng mở rộng từ các mô hình chuyên gia quy mô lớn.

SemiAnalysis cho rằng, cơ chế chú ý hiệu quả hơn còn có thể thúc đẩy độ dài ngữ cảnh tăng từ 1 triệu Token lên trên 5 triệu Token. Theo nghịch lý Jevons, cải thiện hiệu quả có thể mở rộng quy mô sử dụng AI, từ đó làm tăng thêm nhu cầu mạng.