Theo dõi từ Động Sát Beating, công ty dữ liệu AI Datacurve đã đưa Kimi K3 vào chuẩn đánh giá kỹ thuật phần mềm tầm xa DeepSWE. Chuẩn đánh giá này kiểm tra khả năng mô hình có thể hoàn thành độc lập các nhiệm vụ phát triển dài hạn, phức tạp và thực tế hay không.
Tỷ lệ hoàn thành nhiệm vụ của Kimi K3 là 69%. GPT-5.6 Sol và Claude Fable 5 lần lượt đạt 73% và 70%. Datacurve cho biết, Kimi K3 là mô hình trọng số mở đầu tiên đạt đến trình độ của các mô hình nguồn đóng tiên tiến trên DeepSWE.
DeepSWE bao gồm 113 nhiệm vụ gốc, đến từ 91 dự án mã nguồn mở đang hoạt động, bao phủ 5 ngôn ngữ lập trình. Tất cả các mô hình đều sử dụng cùng một bộ công cụ. Các nhiệm vụ cũng không được điều chỉnh trực tiếp từ các commit mã có sẵn, nhằm giảm thiểu ô nhiễm dữ liệu huấn luyện.
Chi phí trung bình cho mỗi nhiệm vụ của Kimi K3 là 4,65 USD. GPT-5.6 Sol là 8,39 USD, còn Claude Fable 5 là 21,63 USD.
