动察 Beating AI tin nhanh, công ty khởi nghiệp suy luận AI Gimlet Labs đã hoàn tất vòng gọi vốn mới trị giá 300 triệu USD, định giá đạt 3 tỷ USD. Andreessen Horowitz dẫn đầu vòng đầu tư, Arm và M12 thuộc Microsoft mới tham gia. Gimlet phát triển nền tảng suy luận đa chip, chia nhỏ một lần suy luận AI để các giai đoạn khác nhau chạy trên chip phù hợp hơn.
Công ty này có tốc độ gọi vốn rất nhanh. Khoảng nửa năm trước, Gimlet vừa hoàn tất vòng Series A trị giá 80 triệu USD. Trước đó chưa đầy một năm, vòng hạt giống của họ chỉ có 12 triệu USD. Tổng cộng ba vòng huy động được 392 triệu USD. CEO Zain Asgar cho biết, vòng này được chốt rất nhanh vì công ty nhận được nhiều thư bày tỏ ý định đầu tư chủ động từ các nhà đầu tư.
Gimlet ban đầu chủ yếu cung cấp phần mềm điều phối chip, hiện đã bắt đầu hỗ trợ khách hàng xây dựng trung tâm dữ liệu và còn đang tự xây dựng trung tâm dữ liệu của riêng mình. Các loại chip khác nhau có yêu cầu khác nhau về tản nhiệt, nhiệt độ và cấu hình máy chủ, chỉ viết tốt phần mềm thôi chưa đủ, toàn bộ phòng máy cũng phải được thiết kế lại theo.
Ví dụ trong suy luận AI, giai đoạn pre-fill và decode, một giai đoạn phụ thuộc nhiều vào sức mạnh tính toán, giai đoạn còn lại phụ thuộc nhiều vào băng thông bộ nhớ. Gimlet có thể phân chia chúng cho chip của các nhà sản xuất khác nhau xử lý. Arm lần này vừa đầu tư vừa hợp tác, hai bên cũng sẽ giúp phần mềm của Gimlet tương thích với nhiều chip Arm hơn.
