BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Trang chủ
AI AI
Tin nhanh
Bài viết
Sự kiện
BlockBeats Pro
Thêm
Thông tin tài chính
Chuyên đề
Hệ sinh thái chuỗi khối
Mục nhập
Podcast
Data
OPRR
Partnered With:

AMD hoàn tất thương vụ mua lại Taalas trị giá khoảng 2,9 tỷ USD: khắc mô hình AI vào chip, tạo ra 17.000 Token mỗi giây

Động Sát Beating Tin nhanh AI, AMD tuyên bố hoàn tất việc mua lại công ty chip AI Canada Taalas. Hai bên đã đạt thỏa thuận vào tháng 8 năm nay, tổng giá trị giao dịch lên tới khoảng 2,9 tỷ USD, trong đó tối đa 1,4 tỷ USD chỉ được thanh toán khi đáp ứng các điều kiện đã thỏa thuận.


Taalas đã đi theo một con đường hoàn toàn khác với GPU truyền thống: ngay trong quá trình sản xuất chip, các tham số của mô hình AI được cố định trực tiếp vào mạch điện.


GPU thông thường cần đọc đi đọc lại các tham số mô hình từ bộ nhớ hiển thị. Taalas đặt lưu trữ và tính toán lại với nhau, giảm việc di chuyển dữ liệu, đồng thời loại bỏ bộ nhớ hiển thị băng thông cao (HBM) đắt đỏ và các gói đóng gói phức tạp liên quan.


Vào tháng 2 năm nay, Taalas đã ra mắt chip đầu tiên HC1, chuyên chạy mô hình Llama 3.1 8B của Meta. Theo thử nghiệm chính thức, với điều kiện đầu vào và đầu ra mỗi bên 1000 Token, tốc độ tạo của một người dùng đạt khoảng 17.000 Token mỗi giây, gần gấp 9 lần Cerebras vào thời điểm đó.


Nhưng thiết kế này cũng hy sinh tính linh hoạt. GPU thông thường có thể tải các mô hình khác nhau bất cứ lúc nào, HC1 mặc dù hỗ trợ tinh chỉnh LoRA, nhưng để thay đổi mô hình cơ sở vẫn cần sửa đổi mặt nạ sản xuất, sản xuất lại chip. Chu kỳ mà Taalas đưa ra là khoảng hai tháng.


HC1 còn áp dụng lượng tử hóa 3-bit và 6-bit mạnh mẽ, mặc dù nén mạnh các tham số mô hình, nhưng cũng làm mất đi một phần chất lượng mô hình. Hiện tại thành tích 17.000 Token mỗi giây chỉ đến từ Llama 3.1 8B, hiệu suất thực tế của các mô hình lớn hơn vẫn còn chờ kiểm chứng.


AMD dự định đưa công nghệ này vào các sản phẩm tăng tốc AI trong tương lai, kết hợp với GPU Instinct hiện có, để chip chuyên dụng đảm nhận các nhiệm vụ suy luận tần suất cao của các mô hình cố định.

举报 Báo lỗi/Báo cáo
Báo lỗi/Báo cáo
Gửi
Thêm mới thư viện
Chỉ mình tôi có thể nhìn thấy
Công khai
Lưu
Chọn thư viện
Thêm mới thư viện
Hủy
Hoàn thành