BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Trang chủ
AI AI
Tin nhanh
Bài viết
Sự kiện
BlockBeats Pro
Thêm
Thông tin tài chính
Chuyên đề
Hệ sinh thái chuỗi khối
Mục nhập
Podcast
Data
OPRR
Partnered With:

Phát hiện mới trong huấn luyện hậu kỳ của mô hình lớn: Sử dụng dữ liệu tự sinh để thực hiện "huấn luyện cùng quỹ đạo" là chìa khóa để học sinh vượt qua giáo viên mà không bị thoái hóa.

Theo dõi từ Động Sát Beating, "lấy mẫu cùng quỹ đạo" trong quá trình hậu huấn luyện của mô hình lớn (tức cho mô hình tự huấn luyện dựa trên dữ liệu do chính nó tạo ra theo thời gian thực) là chìa khóa để ngăn chặn suy thoái mô hình và nâng cao khả năng giải quyết vấn đề. Lý do học tăng cường trực tuyến (RL) và chưng cất cùng quỹ đạo (OPD) vượt trội hơn so với tinh chỉnh có giám sát truyền thống (SFT) về bản chất là vì chúng cho phép mô hình tối ưu hóa dựa trên các bước do chính nó viết ra, thay vì học thuộc lòng các đáp án chuẩn từ bên ngoài.

SFT nhồi nhét đáp án chuẩn một cách cưỡng ép, tác động lực điều chỉnh mô hình đồng đều lên từng từ, rất dễ phá vỡ cấu trúc kiến thức vốn có của mô hình và gây ra hiện tượng quên. Ngược lại, RL và OPD cho phép mô hình tìm kiếm và củng cố các bước tốt nhất trong bản nháp do chính nó viết. Điều này không chỉ tránh được lỗi tích lũy kiểu "viết sai một từ ở đầu, sau đó đi lạc hướng", mà còn đảm bảo việc cập nhật chỉ diễn ra trong phạm vi kiến thức mà mô hình đã biết, từ đó giữ lại tối đa khả năng nguyên bản.

Trong thí nghiệm "chỉnh sửa mã tối thiểu", dù sử dụng SFT hay RL làm người hướng dẫn để chưng cất cùng quỹ đạo, tỷ lệ thành công (Pass@1) của mô hình học sinh khi viết đúng mã trong một lần lần lượt đạt 80,0% và 78,7%, đều vượt qua mô hình người hướng dẫn. Ngay cả khi người hướng dẫn SFT bị "ngu đi" nghiêm trọng do tinh chỉnh quá mức (giảm từ 0,320 xuống 0,286 trong bài kiểm tra năng lực mã LiveCodeBench), mô hình học sinh do nó dẫn dắt vẫn đạt điểm cao 0,297, hầu như không bị ảnh hưởng bởi khuyết điểm của người hướng dẫn, chứng minh rằng luyện tập cùng quỹ đạo có thể lọc hiệu quả các thói quen xấu của người hướng dẫn.

Hiện tại, DeepSeek-V4 và GLM-5 đã áp dụng chưng cất cùng quỹ đạo để kết hợp năng lực của các mô hình chuyên gia. Trong huấn luyện chuyên gia, các lĩnh vực có đúng sai rõ ràng như mã và toán phù hợp hơn với RL, trong khi các nhiệm vụ chủ quan về sáng tạo và kiến thức phù hợp hơn với chưng cất cùng quỹ đạo. Thuật toán tinh chỉnh tối thượng trong tương lai chắc chắn sẽ phải tìm kiếm, trong khuôn khổ huấn luyện cùng quỹ đạo, một cơ chế mới kết hợp hiệu quả cao của chưng cất (mật độ thông tin cao) và tính khách quan của RL (cập nhật không thiên lệch).

举报 Báo lỗi/Báo cáo
Liên quanĐề xuất
Điều bản lề của Cách mạng Công nghệ là quy mô tiêu thụ lao động giá rẻ.
Trong bối cảnh kinh doanh mở rộng nhanh chóng, Anthropic lại chủ động kêu gọi "phanh lại".
Một người phải đặt mình vào một cỗ máy lớn đến mức nào thì mới không lãng phí sự thông minh của chính mình.
Báo lỗi/Báo cáo
Gửi
Thêm mới thư viện
Chỉ mình tôi có thể nhìn thấy
Công khai
Lưu
Chọn thư viện
Thêm mới thư viện
Hủy
Hoàn thành