Theo giám sát của Động Sát Beating, nhóm nghiên cứu liên hợp bao gồm Học viện Hà Đào Thâm Quyến, Đại học Công nghệ Cáp Nhĩ Tân (Thâm Quyến), Viện Nghiên cứu Dữ liệu Lớn Thâm Quyến và đội ngũ liên quan của Huawei, phối hợp với nền tảng tính toán AI của Thâm Trí Thành, đã tuyên bố vận hành thành công quá trình hậu huấn luyện (Post-training) toàn tham số của mô hình lớn DeepSeek-V4-Pro với 1,6 nghìn tỷ tham số trên nền tảng tính toán AI nội địa.
Đây là lần đầu tiên một tổ chức bên thứ ba trên toàn cầu hoàn thành quá trình hậu huấn luyện toàn tham số cho mô hình quy mô 1,6 nghìn tỷ tham số trên nền tảng tính toán nội địa.
So với quá trình tiền huấn luyện (Pre-training) bắt đầu từ con số không, giai đoạn hậu huấn luyện (chủ yếu bao gồm tinh chỉnh có giám sát SFT và học tăng cường RL) tập trung vào việc căn chỉnh với hướng dẫn chất lượng cao và sở thích của con người, dạy mô hình tuân theo hướng dẫn và thực hiện các nhiệm vụ cụ thể. Tuy nhiên, đối với mô hình kiến trúc MoE với 1,6 nghìn tỷ tham số, quá trình hậu huấn luyện toàn tham số vẫn đặt ra những yêu cầu khắt khe về dung lượng bộ nhớ đồ họa của phần cứng cơ bản, băng thông giao tiếp đa thẻ (như giao tiếp toàn-toàn do định tuyến MoE kích hoạt) và độ ổn định của cụm quy mô lớn. Nhóm nghiên cứu liên hợp đã dựa vào cụm tính toán Huawei Ascend 910C với quy mô hơn một nghìn chip, thông qua tối ưu hóa chiến lược phân phối và cân bằng tải, đã vượt qua thành công nút thắt giao tiếp. Trong suốt quá trình huấn luyện kéo dài hơn 1500 bước, hệ thống không xảy ra một lần gián đoạn nào, tỷ lệ sử dụng năng lực tính toán của mô hình (MFU) vượt quá 30%, hiệu suất của các toán tử chính được cải thiện 14%, tất cả các chỉ số đều đạt tiêu chuẩn vận hành công nghiệp.
Phân tích trong ngành chỉ ra rằng, việc cụm Huawei Ascend 910C vận hành thành công mô hình huấn luyện quy mô nghìn tỷ đã xác nhận tính khả thi về mặt kỹ thuật của chip AI nội địa trong việc đảm nhận các nhiệm vụ huấn luyện sâu cho mô hình siêu lớn. Do trước đây, quá trình tiền huấn luyện cốt lõi của các mô hình lớn chủ yếu phụ thuộc vào cụm GPU của Nvidia, năng lực tính toán nội địa chủ yếu đảm nhận các nhiệm vụ suy luận (Inference) hoặc tinh chỉnh tham số nhỏ. Thành công của cuộc nghiên cứu liên hợp lần này đánh dấu sự chuyển đổi nhanh chóng của hệ sinh thái tính toán nội địa từ "chỉ hỗ trợ suy luận" sang vòng khép kín kỹ thuật "đảm nhận huấn luyện toàn tham số cho mô hình siêu lớn".
