Theo Động Sát Beating giám sát, tại Hội nghị Ứng dụng Công nghiệp AI của Tencent Cloud vào ngày 5 tháng 6, nhà khoa học AI trưởng của Tencent, Diêu Thuận Vũ, đã có cuộc đối thoại với người phụ trách CSIG, Thang Đạo Sinh, xác định rõ chiến lược cốt lõi của mô hình lớn Hỗn Nguyên trong giai đoạn nửa sau của AI: từ bỏ các chỉ số bảng xếp hạng dễ bị overfitting, chuyển sang xây dựng hàng rào mô hình dựa trên "Context" (Ngữ cảnh) và "Co-Design" (Thiết kế hợp tác).
Logic cốt lõi của giai đoạn nửa sau mô hình lớn nằm ở chỗ, khả năng chuyển đổi đầu vào phức tạp thành đầu ra của mô hình đang nhanh chóng hội tụ, rào cản thực sự nằm ở việc ai có thể lấy được "Context" gốc nhất, tức là hiểu rõ người dùng và doanh nghiệp đang làm gì cụ thể. Các ứng dụng đa kịch bản mà Tencent sở hữu đóng vai trò là sân tập cho các tác nhân thông minh, cung cấp liên tục cho mô hình các ngữ cảnh sâu như thói quen và sở thích của người dùng.
Để tận dụng tốt ngữ cảnh, cần phải phá bỏ rào cản giữa nghiên cứu mô hình và phát triển sản phẩm. Tencent nội bộ triển khai cơ chế hợp tác sâu "Co-Design", cử các chuyên gia hậu huấn luyện hỗ trợ xây dựng "Tencent Yuanbao" trong giai đoạn đầu phát triển để thiết lập niềm tin xuyên đội nhóm. Mô hình lớn Hỗn Nguyên từ bỏ các chỉ số bảng xếp hạng dễ overfitting, trực tiếp sử dụng phân phối prompt thực tế và dữ liệu hồi lưu từ các sản phẩm như Yuanbao, ima, Workbuddy để đánh giá và lặp lại, thúc đẩy khả năng của mô hình tổng quát hóa giữa các dữ liệu sản phẩm khác nhau và hình thành hiệu ứng mạng.
Là sản phẩm trực tiếp của cơ chế hợp tác, phiên bản xem trước Hỗn Nguyên 3.0 (Hy3 preview) đã tái cấu trúc cơ sở hạ tầng của pre-training và reinforcement learning, định nghĩa lại chất lượng dữ liệu và tiêu chuẩn đánh giá. Phát triển mô hình không còn hướng đến việc leo bảng xếp hạng, mà tối ưu hóa độ mạnh mẽ của tác vụ, đảm bảo "làm đúng một lần" trong sử dụng thực tế, giảm tần suất thử lại đồng thời giải quyết vấn đề tiêu thụ Token cao và lo ngại về chi phí khi doanh nghiệp triển khai.
