BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Trang chủ
AI AI
Tin nhanh
Bài viết
Sự kiện
BlockBeats Pro
Thêm
Thông tin tài chính
Chuyên đề
Hệ sinh thái chuỗi khối
Mục nhập
Podcast
Data
OPRR
Partnered With:

Mô hình 10 nghìn tỷ tham số của ByteDance đã bắt đầu huấn luyện, quy mô tiến gần đến Anthropic Mythos5

Theo dõi từ Động Sát Beating, tờ Financial Times của Anh dẫn lời ba người am hiểu sự việc cho biết, ByteDance đã bắt đầu tiền huấn luyện một mô hình lớn với tối đa 10 nghìn tỷ tham số. Dự án vẫn đang ở giai đoạn đầu, quy mô cuối cùng chưa được xác định. Nếu huấn luyện ở mức trần, nó sẽ gấp hơn ba lần Kimi K3, trở thành mô hình có quy mô tham số lớn nhất được biết đến trong các đội ngũ Trung Quốc hiện nay.

Lần này ByteDance trực tiếp đẩy kích thước mô hình lên gần với các mô hình hàng đầu của Anthropic. Anthropic chưa bao giờ công bố số tham số của Mythos 5, nhưng Financial Times dẫn ước tính từ ngành cho biết, Mythos 5 có khoảng 8 nghìn tỷ tham số, Fable 5 khoảng 5 nghìn tỷ. Nếu mô hình mới của ByteDance đạt 10 nghìn tỷ, ít nhất về quy mô tham số, nó đã bước vào cùng đẳng cấp với các mô hình đóng mã nguồn tiên tiến nhất của Mỹ.

Mô hình này hiện vẫn đang trong giai đoạn tiền huấn luyện (dùng lượng dữ liệu khổng lồ để huấn luyện khả năng cơ bản của mô hình). Financial Times cho biết, giai đoạn này thường mất từ 3 đến 6 tháng, sau đó tiếp tục hậu huấn luyện, chỉ khi thuận lợi mới phát hành. Nhiều tham số hơn không đồng nghĩa với khả năng mạnh hơn, hiệu quả cuối cùng còn phụ thuộc vào kiến trúc, dữ liệu huấn luyện và phương pháp huấn luyện.

Trương Nhất Minh gần đây đã phản đối rõ ràng việc chưng cất mô hình đối thủ cạnh tranh trong nội bộ Seed, yêu cầu đội ngũ chấp nhận tụt hậu trong ngắn hạn, dựa vào tự nghiên cứu để vươn lên nhóm dẫn đầu thế giới. Mô hình mới với tối đa 10 nghìn tỷ tham số này là canh bạc quy mô táo bạo nhất của ByteDance hiện tại.

Báo lỗi/Báo cáo
Gửi
Thêm mới thư viện
Chỉ mình tôi có thể nhìn thấy
Công khai
Lưu
Chọn thư viện
Thêm mới thư viện
Hủy
Hoàn thành