La Phúc Lệ: Thách thức nghiên cứu và phát triển của MiMo-V2.6 đã vượt qua DeepSeek R1 mà tôi từng tham gia.

Động Sát Beating AI tin nhanh, người phụ trách MiMo của Xiaomi, La Phúc Lợi, sau khi MiMo-V2.6 ra mắt đã giải thích thêm về vòng học tăng cường này. Cô cho biết mình từng tham gia DeepSeek R1, và những đổi mới nghiên cứu cùng thách thức kỹ thuật đằng sau MiMo-V2.6, theo cô, đã vượt qua R1.

Cô cũng giải thích vì sao MiMo đồng thời sử dụng MixRL và MOPD. MixRL là việc trộn các tác vụ có thể xác minh như code, Agent tổng quát, thị giác và an ninh mạng vào cùng một vòng học tăng cường để huấn luyện cùng nhau; MOPD thì phụ trách xử lý các tác vụ siêu dài, khó xác minh hoặc phần thưởng mang tính chủ quan cao, huấn luyện riêng trước, rồi tích hợp những năng lực này trở lại mô hình chính.

Các tác vụ như game, 3D có thời gian chạy một lần quá dài, hơn nữa lại khó tự động phán đoán đúng sai. Nếu đặt cùng vòng RL với các tác vụ như code, sẽ làm chậm huấn luyện một cách rõ rệt. MiMo vì thế huấn luyện riêng loại tác vụ này, rồi thông qua MOPD hợp nhất năng lực đã học trở lại mô hình chính.