Cline tính toán chi phí tự lưu trữ cho Kimi: thực tế chỉ tiết kiệm 10%, dưới 500.000 USD phí hàng năm thì đừng lằng nhằng.

Theo giám sát của Động Sát Beating, công cụ lập trình AI Cline đã sử dụng lưu lượng sản xuất thực tế để tính toán chi phí tự quản lý của Kimi K2.6. Mỗi tháng, nó xử lý 583 tỷ Token, nếu toàn bộ đi qua API sẽ tốn khoảng 185.000 USD. Với cấu hình 16 thẻ B200 ở thời điểm lưu lượng thấp, hoạt động hết công suất cả ngày để xử lý lưu lượng cơ bản, các yêu cầu còn lại vẫn đi qua API, hóa đơn giảm xuống còn 166.000 USD, chỉ tiết kiệm được khoảng 10%.

Cline ước tính, nếu tăng giảm GPU linh hoạt theo khung giờ, mức tiết kiệm có thể nâng lên 22% đến 25%. Tối ưu hóa thêm kernel, xử lý hàng loạt và yêu cầu độ trễ, về mặt lý thuyết có thể đạt 35% đến 40%, nhưng các phương án này chưa được triển khai thực tế.

Rào cản của việc tự quản lý cũng rất cao. Cline cho rằng, nếu chi tiêu API hàng năm dưới 500.000 USD, số tiền tiết kiệm được thường không bù đắp được chi phí kỹ sư suy luận. Chỉ khi đạt từ 1 triệu đến 2 triệu USD, mới có khả năng hợp lý hơn. Khoản tính toán này dựa trên Kimi K2.6, không thể áp dụng trực tiếp cho Kimi K3.