2,78 nghìn tỷ tham số Kimi K3 chạy được trên bộ nhớ 8GB, nhà phát triển mã nguồn mở công cụ suy luận C nhẹ

BlockBeats tin tức, ngày 8 tháng 8, một nhà phát triển gần đây đã mở mã nguồn dự án kimi-k3-in-c, thử nghiệm chạy mô hình Kimi K3 với 2,78 nghìn tỷ tham số trên thiết bị chỉ có 8GB bộ nhớ. Dự án này chỉ 176KB, được viết hoàn toàn bằng C99, không phụ thuộc vào GPU, CUDA, PyTorch hoặc BLAS, chỉ sử dụng CPU để hoàn thành suy luận mô hình.

Giải pháp này tận dụng đặc tính kiến trúc MoE (Hỗn hợp chuyên gia) của Kimi K3. Mặc dù tổng quy mô tham số của mô hình đạt 2,78T, nhưng trong mỗi lớp chỉ kích hoạt 16 trong số 896 chuyên gia, vì vậy nhà phát triển không tải toàn bộ trọng số mô hình khoảng 1,56TB vào bộ nhớ, mà lưu trữ phần lớn trọng số chuyên gia trên ổ cứng NVMe, đọc theo thời gian thực dựa trên nhu cầu suy luận; đồng thời, một số lớp dày đặc (dense trunk) cũng sử dụng phương pháp tải trực tuyến từng lớp.

Tuy nhiên, giải pháp này hiện vẫn tồn tại những hạn chế về hiệu suất rõ ràng. Ở chế độ bộ nhớ 8GB, mô hình mất khoảng 32,7 giây để tạo ra một token, đồng thời cần gần 1,7TB dung lượng lưu trữ tốc độ cao để hỗ trợ.

Nhà phát triển cho biết, giải pháp này hiện tại giống như một thử nghiệm khám phá hướng tối ưu hóa cơ sở hạ tầng suy luận mô hình lớn, không có giá trị sản xuất thực tế, nhưng thông qua cách "tải trực tuyến từ ổ cứng + kích hoạt thưa thớt MoE", nó cung cấp một hướng đi mới cho việc chạy mô hình siêu lớn với chi phí thấp trong tương lai.