Cursor sắp xếp lại quy trình GPU, tăng tốc độ huấn luyện mô hình MoE lên 41%

Theo dõi từ Động Sát Beating, Cursor đã mã nguồn mở Mixture-of-Kittens (MoK) để tăng tốc quá trình huấn luyện mô hình MoE quy mô lớn. Nó hợp nhất việc truyền dữ liệu GPU và tính toán vốn tách rời trước đây vào một kernel (chương trình cấp thấp chạy trực tiếp trên GPU).

MoE chia mô hình thành hàng loạt "chuyên gia", mỗi lần chỉ gọi một phần trong số đó. Các chuyên gia phân tán trên nhiều GPU khác nhau, dữ liệu cần được di chuyển thường xuyên, đôi khi chiếm hơn một nửa thời gian huấn luyện.

MoK cho phép GPU vừa truyền dữ liệu vừa tính toán, giảm thời gian chờ đợi. Trong quá trình huấn luyện thực tế trên 512 GPU GB300, thông lượng tổng thể tăng 41%. Khi kiểm tra riêng lớp MoE, tốc độ nhanh hơn tối đa 2,37 lần so với các giải pháp công khai.

MoK đã được sử dụng trong quá trình huấn luyện Composer trên hàng chục nghìn GPU của Cursor và được mã nguồn mở theo Apache 2.0. Hiện tại chỉ hỗ trợ GPU NVIDIA Blackwell, chủ yếu dành cho các tổ chức sở hữu cụm GB200, GB300 NVL72.