Sau nửa năm vắng bóng, chuyên gia phân tán Lin Haibin trở lại đội ngũ ByteDance Seed

Theo theo Beating Beat giám sát, người đứng đầu huấn luyện mô hình lớn tại ByteDance, Lâm Hải Bình đã chính thức trở lại nhóm Seed để tiếp tục điều hành việc phát triển cơ sở huấn luyện phân tán. Lâm Hải Bình đã rời khỏi công ty vào tháng 12 năm ngoái để tham gia vào công ty SI (Superintelligence An toàn) do Ilya Sutskever, người sáng lập và là giám đốc khoa học trước đây của OpenAI, thành lập. Thời gian từ lúc rời đi đến khi trở lại của Lâm Hải Bình không đầy nửa năm. Lâm Hải Bình, một chuyên gia trí tuệ nhân tạo tốt nghiệp thạc sĩ tại Đại học Carnegie Mellon (CMU), học trực tiếp dưới sự hướng dẫn của giáo sư chuyên gia cơ sở dữ liệu nổi tiếng Andy Pavlo, đã lãnh đạo việc phát hành mã nguồn mở cho hệ thống huấn luyện tăng cường veRL và hệ thống huấn luyện phân tán quy mô triệu thẻ MegaScale. Việc quay trở lại nhanh chóng của Lâm Hải Bình phản ánh sự thay đổi về nguồn nhân lực hàng đầu về mô hình lớn giữa Trung Quốc và Mỹ.

Trước khi gia nhập nhóm AML (Máy học ứng dụng) tại ByteDance vào năm 2020, Lâm Hải Bình đã tham gia vào việc phát triển khung MXNet tại Amazon AWS. Trong quá trình làm việc tại ByteDance, Lâm Hải Bình đã đứng đầu việc phát triển hệ thống huấn luyện gợi ý GPU và thư viện truyền thông byte ByteCCL, cùng đội của anh giải quyết vấn đề hợp tác song song trên hàng nghìn thẻ GPU để hoàn thiện hệ thống huấn luyện MegaScale. Hiện tại, lượng gọi mô hình lớn của ByteDance hàng ngày ở mức cao, yêu cầu về tính ổn định của cụm huấn luyện trong việc phát triển đa dạng và thực thể thông minh rất cao, sự am hiểu của Lâm Hải Bình về toàn bộ hệ thống công nghệ ByteDance trước đây sẽ hỗ trợ trực tiếp cho việc cập nhật hệ thống huấn luyện phân tán ở tầng dưới. Ngoài ra, khung huấn luyện tăng cường mã nguồn mở veRL do Lâm Hải Bình lãnh đạo đã được áp dụng bởi Alibaba Tongyi Qianwen và phòng thí nghiệm trí tuệ nhân tạo tại Thượng Hải.

Quy định về việc nhân sự quay trở lại của ByteDance cho biết, nhân viên có thể xin trở lại công ty sau 3 tháng nghỉ việc và không có hồ sơ vi phạm, đồng thời nhân viên nghỉ việc chưa đầy 1 năm sẽ giữ nguyên cấp bậc và lương. Việc Lâm Hải Bình trở lại ByteDance là một bước phản hồi đến các biện pháp khích lệ gần đây dành cho nhóm lõi về mô hình lớn. ByteDance đã mở cửa cho nhân viên bộ phận Seed mua quyền chênh lệch giá đặc biệt cho mỗi cổ phiếu “đậu” với giá 13 đô la mỹ. Hiện tại, cuộc đua nhân tài về mô hình lớn đã được nâng cấp thành cuộc đấu “quyền chọn + tự trị + sức mạnh tính toán” kết hợp, trước đó phòng thí nghiệm Seed đã có khoảng 70 thành viên chuyển sang các nhà sản xuất mô hình lớn bên ngoài, ByteDance đang cố gắng đảo ngược tình trạng rơi dốc của nhân lực thông qua thiết kế quyền chênh lệch đặc biệt.