BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Trang chủ
AI AI
Tin nhanh
Bài viết
Sự kiện
BlockBeats Pro
Thêm
Thông tin tài chính
Chuyên đề
Hệ sinh thái chuỗi khối
Mục nhập
Podcast
Data
OPRR
Partnered With:

Cột mốc sức mạnh tính toán nội địa: Thẻ nghìn thẻ Thăng Đằng 910C chạy thành công huấn luyện toàn tham số mô hình DeepSeek 1,6 nghìn tỷ.

Theo giám sát của Động Sát Beating, nhóm nghiên cứu liên hợp bao gồm Học viện Hà Đào Thâm Quyến, Đại học Công nghệ Cáp Nhĩ Tân (Thâm Quyến), Viện Nghiên cứu Dữ liệu Lớn Thâm Quyến và đội ngũ liên quan của Huawei, phối hợp với nền tảng tính toán AI của Thâm Trí Thành, đã tuyên bố vận hành thành công quá trình hậu huấn luyện (Post-training) toàn tham số của mô hình lớn DeepSeek-V4-Pro với 1,6 nghìn tỷ tham số trên nền tảng tính toán AI nội địa.

Đây là lần đầu tiên một tổ chức bên thứ ba trên toàn cầu hoàn thành quá trình hậu huấn luyện toàn tham số cho mô hình quy mô 1,6 nghìn tỷ tham số trên nền tảng tính toán nội địa.

So với quá trình tiền huấn luyện (Pre-training) bắt đầu từ con số không, giai đoạn hậu huấn luyện (chủ yếu bao gồm tinh chỉnh có giám sát SFT và học tăng cường RL) tập trung vào việc căn chỉnh với hướng dẫn chất lượng cao và sở thích của con người, dạy mô hình tuân theo hướng dẫn và thực hiện các nhiệm vụ cụ thể. Tuy nhiên, đối với mô hình kiến trúc MoE với 1,6 nghìn tỷ tham số, quá trình hậu huấn luyện toàn tham số vẫn đặt ra những yêu cầu khắt khe về dung lượng bộ nhớ đồ họa của phần cứng cơ bản, băng thông giao tiếp đa thẻ (như giao tiếp toàn-toàn do định tuyến MoE kích hoạt) và độ ổn định của cụm quy mô lớn. Nhóm nghiên cứu liên hợp đã dựa vào cụm tính toán Huawei Ascend 910C với quy mô hơn một nghìn chip, thông qua tối ưu hóa chiến lược phân phối và cân bằng tải, đã vượt qua thành công nút thắt giao tiếp. Trong suốt quá trình huấn luyện kéo dài hơn 1500 bước, hệ thống không xảy ra một lần gián đoạn nào, tỷ lệ sử dụng năng lực tính toán của mô hình (MFU) vượt quá 30%, hiệu suất của các toán tử chính được cải thiện 14%, tất cả các chỉ số đều đạt tiêu chuẩn vận hành công nghiệp.

Phân tích trong ngành chỉ ra rằng, việc cụm Huawei Ascend 910C vận hành thành công mô hình huấn luyện quy mô nghìn tỷ đã xác nhận tính khả thi về mặt kỹ thuật của chip AI nội địa trong việc đảm nhận các nhiệm vụ huấn luyện sâu cho mô hình siêu lớn. Do trước đây, quá trình tiền huấn luyện cốt lõi của các mô hình lớn chủ yếu phụ thuộc vào cụm GPU của Nvidia, năng lực tính toán nội địa chủ yếu đảm nhận các nhiệm vụ suy luận (Inference) hoặc tinh chỉnh tham số nhỏ. Thành công của cuộc nghiên cứu liên hợp lần này đánh dấu sự chuyển đổi nhanh chóng của hệ sinh thái tính toán nội địa từ "chỉ hỗ trợ suy luận" sang vòng khép kín kỹ thuật "đảm nhận huấn luyện toàn tham số cho mô hình siêu lớn".

举报 Báo lỗi/Báo cáo
Liên quanĐề xuất
Công nghệ không bao giờ nên là một mặt hàng xa xỉ.
Người sáng lập A16Z coi DeepSeek R1 là một trong những bước đột phá tuyệt vời và ấn tượng nhất mà ông từng thấy, và với tư cách là nguồn mở, nó là một món quà sâu sắc cho thế giới.
Bằng cách giảm ngưỡng đào tạo và suy luận, đưa thêm nhiều nhà sản xuất lưu trữ, chip và mạng trong nước tham gia vào cuộc cạnh tranh cơ sở hạ tầng AI
Nếu mọi việc suôn sẻ, nhanh nhất là cuối năm nay.
Báo lỗi/Báo cáo
Gửi
Thêm mới thư viện
Chỉ mình tôi có thể nhìn thấy
Công khai
Lưu
Chọn thư viện
Thêm mới thư viện
Hủy
Hoàn thành