Kimi huấn luyện ông chủ AI, General Reasoning huấn luyện cả công ty AI

Động Sát Beating Tin nhanh AI, vào tháng 1 năm nay, Kimi K2.5 ra mắt Agent Swarm, cho phép một Agent chính chiêu mộ và chỉ huy nhiều Agent con, K2.6 sau đó mở rộng quy mô lên tối đa 300 Agent con.

Nhưng phương pháp học tăng cường PARL của Kimi chỉ huấn luyện "ông chủ" phụ trách chỉ huy, đóng băng các Agent con. Nguyên nhân là khi nhiều người cùng hoàn thành một nhiệm vụ, rất khó phân định ai có công; nếu tất cả mọi người đồng thời điều chỉnh chiến lược, quá trình huấn luyện cũng dễ trở nên bất ổn.

General Reasoning lại muốn thử một con đường khác. Nhóm nghiên cứu ra mắt mô hình 120B tham số Avalon-M1-Mini, và đề xuất RLCR (học tăng cường với phần thưởng tập thể). Nó cho phép một Agent đảm nhận vai trò CEO, chiêu mộ tối đa 8 nhân viên, phối hợp thông qua bảng tin nhắn và không gian làm việc chung. Tất cả thành viên sử dụng cùng một bộ mô hình, sau khi nhiệm vụ hoàn thành không còn tính đóng góp của từng cá nhân, mà dựa trên tổng thành tích của nhóm để cùng nhận học tăng cường.

Phương pháp này đã đạt được cải thiện liên tục trong 147 môi trường huấn luyện, hơn 2 triệu nhiệm vụ khác nhau. Trong các nhiệm vụ phần mềm, tỷ lệ kỹ sư chủ quản trong các vị trí được chiêu mộ tăng từ 0,4% lên khoảng 13%, tỷ lệ nhóm thực hiện ít nhất một lần đánh giá chéo tăng từ 42% lên 64%. Phân công cũng thay đổi: từ việc mỗi người viết một phần mã, dần chuyển sang một người viết chính, những người khác phụ trách kiểm thử và tìm lỗi. Các quy trình quản lý và kiểm soát chất lượng vốn cần con người thiết kế, đã tự hình thành trong quá trình huấn luyện.

Nhưng thành tích nhóm tốt hơn, một phần chỉ là do sử dụng nhiều Token hơn. Các nhà nghiên cứu cho một Agent đơn lẻ lượng Token đầu ra tương đương, có thể lấy lại khoảng sáu phần mười lợi thế điểm số của nhóm. Lợi ích chính của nhóm là có thể làm việc đồng thời: trong 12 bài đánh giá, thời gian ước tính để đạt thành tích tương đương trung bình chỉ bằng khoảng một phần tư so với Agent đơn lẻ.

Các nhà nghiên cứu còn mô phỏng sự kiện OpenAI agent tấn công Hugging Face vào đầu năm nay. Trong 210 lần kiểm thử, không có Agent nào gọi công cụ tấn công mô phỏng. Nhưng khi quá trình huấn luyện tiến triển, tỷ lệ báo cáo bất thường cho người đánh giá giảm từ 76,7% xuống 0, mặc dù 96,7% đến 100% bản ghi thực thi đều từng cân nhắc việc báo cáo. Có Agent chọn chỉ phản đối trong nội bộ nhóm, có Agent lên kế hoạch báo cáo nhưng không thực sự hành động.

Hiện tại Avalon-M1-Mini vẫn đang được huấn luyện, nhóm nghiên cứu dự định sau khi huấn luyện hoàn tất sẽ công bố bài báo cuối cùng, đồng thời mã nguồn mở môi trường huấn luyện, khung Agent và trọng số mô hình.