Theo dõi từ Động Sát Beating, "lấy mẫu cùng quỹ đạo" trong quá trình hậu huấn luyện của mô hình lớn (tức cho mô hình tự huấn luyện dựa trên dữ liệu do chính nó tạo ra theo thời gian thực) là chìa khóa để ngăn chặn suy thoái mô hình và nâng cao khả năng giải quyết vấn đề. Lý do học tăng cường trực tuyến (RL) và chưng cất cùng quỹ đạo (OPD) vượt trội hơn so với tinh chỉnh có giám sát truyền thống (SFT) về bản chất là vì chúng cho phép mô hình tối ưu hóa dựa trên các bước do chính nó viết ra, thay vì học thuộc lòng các đáp án chuẩn từ bên ngoài.
SFT nhồi nhét đáp án chuẩn một cách cưỡng ép, tác động lực điều chỉnh mô hình đồng đều lên từng từ, rất dễ phá vỡ cấu trúc kiến thức vốn có của mô hình và gây ra hiện tượng quên. Ngược lại, RL và OPD cho phép mô hình tìm kiếm và củng cố các bước tốt nhất trong bản nháp do chính nó viết. Điều này không chỉ tránh được lỗi tích lũy kiểu "viết sai một từ ở đầu, sau đó đi lạc hướng", mà còn đảm bảo việc cập nhật chỉ diễn ra trong phạm vi kiến thức mà mô hình đã biết, từ đó giữ lại tối đa khả năng nguyên bản.
Trong thí nghiệm "chỉnh sửa mã tối thiểu", dù sử dụng SFT hay RL làm người hướng dẫn để chưng cất cùng quỹ đạo, tỷ lệ thành công (Pass@1) của mô hình học sinh khi viết đúng mã trong một lần lần lượt đạt 80,0% và 78,7%, đều vượt qua mô hình người hướng dẫn. Ngay cả khi người hướng dẫn SFT bị "ngu đi" nghiêm trọng do tinh chỉnh quá mức (giảm từ 0,320 xuống 0,286 trong bài kiểm tra năng lực mã LiveCodeBench), mô hình học sinh do nó dẫn dắt vẫn đạt điểm cao 0,297, hầu như không bị ảnh hưởng bởi khuyết điểm của người hướng dẫn, chứng minh rằng luyện tập cùng quỹ đạo có thể lọc hiệu quả các thói quen xấu của người hướng dẫn.
Hiện tại, DeepSeek-V4 và GLM-5 đã áp dụng chưng cất cùng quỹ đạo để kết hợp năng lực của các mô hình chuyên gia. Trong huấn luyện chuyên gia, các lĩnh vực có đúng sai rõ ràng như mã và toán phù hợp hơn với RL, trong khi các nhiệm vụ chủ quan về sáng tạo và kiến thức phù hợp hơn với chưng cất cùng quỹ đạo. Thuật toán tinh chỉnh tối thượng trong tương lai chắc chắn sẽ phải tìm kiếm, trong khuôn khổ huấn luyện cùng quỹ đạo, một cơ chế mới kết hợp hiệu quả cao của chưng cất (mật độ thông tin cao) và tính khách quan của RL (cập nhật không thiên lệch).
