Theo dõi từ Động Sát Beating, Prime Intellect đã phát hành phiên bản 0.6.0 của khung huấn luyện học tăng cường phân tán prime-rl, vượt qua rào cản huấn luyện RL cho mô hình chuyên gia hỗn hợp (MoE) nghìn tỷ tham số trong các tác vụ tác tử có ngữ cảnh siêu dài.
Việc mô hình lớn đọc hết văn bản siêu dài 256k không phải hiếm, nhưng trong huấn luyện học tăng cường, để mô hình tự suy luận thông qua thử-sai, card đồ họa phải lưu toàn bộ các giá trị kích hoạt trung gian khổng lồ ở độ dài 131k, khiến chi phí bộ nhớ tăng gấp hàng trăm đến hàng nghìn lần. Trước đây, điều này đòi hỏi một cụm hàng nghìn card đồ họa, nhưng prime-rl 0.6.0 chỉ cần 28 máy chủ H200 để chạy huấn luyện học tăng cường với ngữ cảnh 131k cho GLM-5, với thời gian mỗi bước được kiểm soát trong vòng 5 phút.
Để giải quyết vấn đề trong các tác vụ thử-sai như sinh mã phức tạp, nơi một số ít tác vụ có thời gian chờ dài làm tắc nghẽn nhịp độ toàn cục và khiến tài nguyên card đồ họa bị lãng phí trong thời gian dài, khung này đã phá vỡ cơ chế đồng bộ truyền thống, áp dụng kiến trúc RL bất đồng bộ hoàn toàn tách rời. Bộ huấn luyện nền, sau khi tính toán trọng số mới, không cần chờ các tác vụ thử-sai đang diễn ra kết thúc, mà trực tiếp cập nhật trong thời gian thực khi mô hình đang sinh văn bản. Các tác vụ đã phân phối tiếp tục sử dụng chiến lược cũ để đảm bảo tốc độ, trong khi các tác vụ mới được tiêm "muối" KV-cache để buộc xây dựng lại bộ nhớ đệm. Đối với vấn đề logic mô hình dễ bị rối loạn do sự không đồng bộ giữa huấn luyện và suy luận trong cập nhật bất đồng bộ, khung này giới thiệu công nghệ R3 (Route Replay), xử lý trực tiếp dữ liệu phân phối chuyên gia ở lớp nền, tránh độ trễ hệ thống do chuyển đổi dữ liệu, giảm sự không khớp giữa hai bên xuống còn một phần mười, ổn định đáng kể quá trình huấn luyện bất đồng bộ.
Về mặt tận dụng tài nguyên cấp thấp, khung này đã giải quyết triệt để vấn đề bộ nhớ card đồ họa bị bùng nổ do văn bản dài thông qua thiết kế tinh vi. Phía suy luận áp dụng kiến trúc tách rời đọc và ghi, ngăn mô hình lớn bị kẹt trong quá trình sinh văn bản tiếp theo do đọc quá nhiều gợi ý trước đó; đồng thời kết hợp nhiều card đồ họa để chia sẻ kiến thức chuyên gia, và sử dụng công nghệ Mooncake để kết hợp bộ nhớ và ổ cứng nhàn rỗi của nhiều máy chủ thành một bộ đệm chia sẻ. Trong tính toán song song cho văn bản siêu dài, nhắm vào cơ chế chú ý thưa thớt DSA độc đáo của GLM-5, khung này đã tùy chỉnh một giải pháp song song riêng, đảm bảo mô hình có thể nhìn toàn cảnh trong khi giảm chi phí giao tiếp dữ liệu giữa các lớp card đồ họa xuống chỉ còn một lần. Phía huấn luyện kết hợp DeepGEMM để thực hiện huấn luyện FP8 với tỷ lệ khối do DeepSeek V3 đề xuất, giúp phía huấn luyện và suy luận sử dụng cùng độ chính xác và nhân tính toán, loại bỏ hoàn toàn sự sụp đổ huấn luyện do sai lệch độ chính xác.
