Đội ngũ sáng lập cao cấp của Recursive lần đầu tiên nộp bài: để AI tham gia tạo ra AI, luyện ra mô hình 40B trong 4 tháng

Động Sát Beating Tin nhanh AI, Recursive - công ty đã gọi được 650 triệu USD vốn đầu tư vào tháng 5 năm nay với định giá 4,65 tỷ USD - cuối cùng đã ra mắt mô hình đầu tiên mang tên Flint.

Mô hình này được thiết kế chuyên biệt cho Agent lập trình cục bộ, với tổng tham số khoảng 40 tỷ, mỗi lần chỉ kích hoạt 2,5 tỷ. Nhóm đã phát triển mô hình này từ đầu chỉ trong chưa đầy 4 tháng.

8 đồng sáng lập của Recursive đều là những nhân vật có tiếng:

1. Alexey Dosovitskiy: Tác giả đầu tiên của Vision Transformer (ViT), người đưa Transformer vào lĩnh vực thị giác máy tính.

2. Tian Yuandong: Cựu Giám đốc nghiên cứu tại Meta FAIR, chuyên nghiên cứu học tăng cường và suy luận mô hình lớn.

3. Tim Rocktäschel: Cựu Trưởng nhóm nghiên cứu học mở tại Google DeepMind, Giáo sư tại UCL.

4. Jeff Clune: Tác giả bài báo "Darwin Gödel Machine", nghiên cứu cách để AI tự sửa mã nguồn và không ngừng cải thiện.

5. Josh Tobin: Từng lãnh đạo nhóm nghiên cứu Codex và Deep Research của OpenAI.

6. Tim Shi: Cựu nhà nghiên cứu OpenAI, đồng sáng lập Cresta - kỳ lân AI doanh nghiệp.

7. Richard Socher: CEO của Recursive, cựu Giám đốc khoa học Salesforce, người sáng lập You.com.

8. Caiming Xiong: Cựu Phó Chủ tịch cấp cao nghiên cứu AI tại Salesforce.

Nhóm đã phát triển một hệ thống nghiên cứu tự động có tên Eureka Machine. Hệ thống này có thể tự đề xuất phương án cải tiến, viết mã, chạy thử nghiệm, rồi tiếp tục điều chỉnh dựa trên kết quả. Kiến trúc mô hình, phương pháp huấn luyện, lượng tử hóa và tối ưu suy luận của Flint đều sử dụng thành quả nghiên cứu từ hệ thống này.

Kết quả kiểm thử do Recursive công bố cho thấy Flint đạt 74,2% trên SWE-bench Verified. Khi kết hợp với engine suy luận chuyên dụng, trên M4 Pro MacBook Pro, tốc độ sinh token với ngữ cảnh ngắn vượt 125 Token mỗi giây.

Trọng số mô hình đã được mở theo giấy phép Apache 2.0.