NVIDIA ra mắt chip đầu tiên Groq LPX: Hiệu suất suy luận mỗi megawatt tăng cao nhất 35 lần khi kết hợp với Vera Rubin và giới thiệu mẫu thử Kyber thế hệ tiếp theo

Theo dõi từ 1M AI News , Groq 3 LPU (Đơn vị Xử lý Ngôn ngữ) được ra mắt sau khi NVIDIA mua lại công ty startup chip AI Groq với số tiền khoảng 200 tỷ đô la vào tháng 12 năm ngoái, dự kiến bắt đầu giao hàng vào quý 3 năm nay. Khung Groq 3 LPX có thể chứa 256 LPU, đi kèm với 128GB SRAM trên chip và băng thông kết nối mở rộng 640TB mỗi giây. Công ty cho biết khi LPX kết hợp với Vera Rubin NVL72, hiệu suất xử lý dựa trên năng lượng (thông qua Watt) có thể được tăng lên tới 35 lần, đồng thời mở khóa tiềm năng doanh thu từ cảnh vật lý triệu tham số và triệu ngữ cảnh. Huang Renxun miêu tả hai vi xử lý này như "hoàn toàn khác biệt nhưng hòa quyện với nhau: một cái theo đuổi hiệu suất xử lý, một cái theo đuổi độ trễ thấp", trong khi bộ nhớ trên chip của LPX giúp mở rộng đáng kể tổng lượng bộ nhớ sẵn có của mô hình. Kế hoạch cho LPX là sẽ ra mắt cùng với nền tảng Vera Rubin vào nửa cuối năm nay.

Tại hội nghị, Huang Renxun cũng trình diễn một thiết kế mẫu kiến trúc khung tiếp theo mang mã Kyber. Kyber sẽ biến 144 khay tính toán GPU thành sắp xếp dọc nhằm nâng cao mật độ vật lý, giảm độ trễ, và sẽ được tích hợp vào nền tảng kế nhiệm Vera Rubin Ultra của Vera Rubin, dự kiến ra mắt vào năm 2027.