200 triệu USD của NVIDIA không phí phạm: Chip Groq chính thức được sản xuất hàng loạt

Động sát Beating AI tin nhanh, NVIDIA Groq 3 LPX đã chính thức bước vào giai đoạn sản xuất hàng loạt. Tháng 12 năm ngoái, NVIDIA chi khoảng 20 tỷ USD để mua bản quyền công nghệ Groq, đồng thời chiêu mộ đội ngũ cốt lõi bao gồm cả nhà sáng lập Jonathan Ross. Sau 8 tháng, sản phẩm phần cứng đầu tiên từ thương vụ này chính thức ra mắt.

Groq 3 LPX là một hệ thống chuyên tăng tốc suy luận mô hình lớn, bên trong sử dụng 256 chip Groq 3 LPU. Trong bài kiểm tra của Artificial Analysis, khi Gemma 4 31B nhập 100.000 Token, Groq 3 LPX đạt tốc độ 3.431 Token đầu ra mỗi giây. Trong cùng bài kiểm tra đó, API nhanh nhất có thể gọi công khai trên thị trường thời điểm đó chỉ đạt khoảng 870 Token, Groq 3 LPX gần gấp 4 lần.

Khi triển khai thực tế, GPU Rubin đảm nhận các phép tính nặng hơn, còn Groq 3 LPX chuyên tăng tốc độ tạo Token. Đối với Coding Agent, khi gọi mô hình liên tục hàng chục, hàng trăm lần, có thể giảm đáng kể thời gian chờ mô hình "nhả chữ".

Nebius sẽ trở thành nhà cung cấp đám mây AI đầu tiên áp dụng Groq 3 LPX. Điều thú vị hơn là, chính Groq cũng trở thành một trong những đơn vị áp dụng đầu tiên, đồng thời sẽ triển khai cùng Dell. Năm ngoái bán bản quyền công nghệ cho NVIDIA, năm nay lại bắt đầu sử dụng "Groq" do NVIDIA tạo ra.