Mô hình nghìn tỷ tham số cũng không cứu được dữ liệu bẩn, các mô hình lớn trong nước bắt đầu làm lại tiền huấn luyện

动察 Beating AI tin nhanh, theo Leiphone, trong hơn nửa năm qua, nhiều nhà sản xuất mô hình lớn trong nước đã bắt đầu làm lại quá trình tiền huấn luyện, vấn đề đều chỉ về dữ liệu.

Một nhà sản xuất từng mất gần một năm để huấn luyện mô hình nghìn tỷ tham số, nhưng hiệu quả thực tế lại bị mô hình nhỏ chỉ bằng khoảng 1% số tham số vượt qua. Cuối cùng nhóm phát hiện vấn đề nằm ở dữ liệu huấn luyện. Rác web, ngữ liệu trùng lặp, chú thích chất lượng thấp lẫn vào tập huấn luyện, mô hình dù lớn đến đâu cũng không chịu nổi. Trường hợp này đến từ nguồn tin ẩn danh, công ty cụ thể chưa được công bố.

Tencent Hunyuan đã công khai làm lại một vòng. Từ tháng 2 năm nay, nhóm đã xây dựng lại hạ tầng tiền huấn luyện và học tăng cường. Trước đó truyền thông từng tiết lộ, Hunyuan cũ có vấn đề dữ liệu đánh bảng lẫn vào tập huấn luyện, quy tắc chú thích hỗn loạn. Nhóm mới đặt lại tiêu chuẩn dữ liệu, làm sạch ngữ liệu cũ, Hy3 cũng lấy chất lượng và tính đa dạng dữ liệu làm hạng mục cải thiện chính.

Alibaba và Baidu cũng đang tăng cường quản trị dữ liệu. Qwen3 dùng loạt mô hình Qwen2.5 để làm sạch tài liệu, còn bổ sung lượng lớn dữ liệu tổng hợp toán học và mã. Wenxin 4.5 thì thêm khử trùng lặp, lọc chất lượng thấp, bản đồ dữ liệu và rà soát thủ công. Hai công ty không công khai nói từng làm lại vì dữ liệu bẩn, nhưng thế hệ mô hình mới đều dành nhiều công sức hơn cho xử lý dữ liệu.