Động Sát Beating Tin nhanh AI, tại Hội nghị Thượng đỉnh SGLang lần thứ nhất, NVIDIA, AMD và Intel vốn thường cạnh tranh gay gắt hiếm khi đứng chung một chiến tuyến.
Ba ông lớn chip cùng Google, Meta, Thinking Machines Lab, Cloudflare, Modal, RadixArk đã trở thành 9 thành viên sáng lập của Liên minh SGLang, tham gia xây dựng lộ trình tương lai của công cụ suy luận AI mã nguồn mở này. Hội nghị thu hút hơn 2000 người tham dự trực tiếp.
SGLang là phần mềm nền tảng của runtime mô hình lớn, chịu trách nhiệm xử lý yêu cầu người dùng, điều phối GPU, quản lý bộ nhớ và tái sử dụng kết quả tính toán. Nó trực tiếp quyết định một chip có thể chạy mô hình AI nhanh đến mức nào và với chi phí bao nhiêu.
SGLang trước đây đã hỗ trợ nhiều loại phần cứng như NVIDIA, AMD, Intel. Việc thành lập liên minh lần này đồng nghĩa các nhà sản xuất chip sẽ tham gia phát triển chung một cách có hệ thống hơn, đầu tư kỹ sư, tài nguyên kiểm thử và thúc đẩy tối ưu hiệu năng cho phần cứng của mình.
Thành viên liên minh tổ chức họp lộ trình hai lần mỗi năm, nhưng quyền quyết định kỹ thuật cuối cùng và hợp nhất mã vẫn do nhóm duy trì SGLang nắm giữ.
SGLang cho biết hiện đã có 332 tổ chức áp dụng dự án này. Meta cũng tiết lộ tại hội nghị rằng so với giải pháp suy luận trước đây, sau khi chuyển sang SGLang, tài nguyên GPU trong môi trường sản xuất quy mô lớn của họ đã tiết kiệm hơn một nửa.
Hội nghị cũng công bố định hướng phát triển SGLang v1.0, tập trung nâng cao tính ổn định và khả năng tương thích trong môi trường sản xuất, phiên bản chính thức vẫn đang được phát triển. Ngoài ra, SGLang đã ra mắt hỗ trợ xem trước công khai cho chip AWS Trainium, và hợp tác với Intel để tối ưu CPU, GPU và bộ tăng tốc của họ. Khung học tăng cường Miles v0.2 cũng đã được phát hành.
