BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Trang chủ
AI AI
Tin nhanh
Bài viết
Sự kiện
BlockBeats Pro
Thêm
Thông tin tài chính
Chuyên đề
Hệ sinh thái chuỗi khối
Mục nhập
Podcast
Data
OPRR
Partnered With:

NVIDIA, AMD, Intel hiếm hoi bắt tay: 9 doanh nghiệp cùng xây dựng liên minh suy luận mã nguồn mở SGLang

Động Sát Beating Tin nhanh AI, tại Hội nghị Thượng đỉnh SGLang lần thứ nhất, NVIDIA, AMD và Intel vốn thường cạnh tranh gay gắt hiếm khi đứng chung một chiến tuyến.


Ba ông lớn chip cùng Google, Meta, Thinking Machines Lab, Cloudflare, Modal, RadixArk đã trở thành 9 thành viên sáng lập của Liên minh SGLang, tham gia xây dựng lộ trình tương lai của công cụ suy luận AI mã nguồn mở này. Hội nghị thu hút hơn 2000 người tham dự trực tiếp.


SGLang là phần mềm nền tảng của runtime mô hình lớn, chịu trách nhiệm xử lý yêu cầu người dùng, điều phối GPU, quản lý bộ nhớ và tái sử dụng kết quả tính toán. Nó trực tiếp quyết định một chip có thể chạy mô hình AI nhanh đến mức nào và với chi phí bao nhiêu.


SGLang trước đây đã hỗ trợ nhiều loại phần cứng như NVIDIA, AMD, Intel. Việc thành lập liên minh lần này đồng nghĩa các nhà sản xuất chip sẽ tham gia phát triển chung một cách có hệ thống hơn, đầu tư kỹ sư, tài nguyên kiểm thử và thúc đẩy tối ưu hiệu năng cho phần cứng của mình.


Thành viên liên minh tổ chức họp lộ trình hai lần mỗi năm, nhưng quyền quyết định kỹ thuật cuối cùng và hợp nhất mã vẫn do nhóm duy trì SGLang nắm giữ.


SGLang cho biết hiện đã có 332 tổ chức áp dụng dự án này. Meta cũng tiết lộ tại hội nghị rằng so với giải pháp suy luận trước đây, sau khi chuyển sang SGLang, tài nguyên GPU trong môi trường sản xuất quy mô lớn của họ đã tiết kiệm hơn một nửa.


Hội nghị cũng công bố định hướng phát triển SGLang v1.0, tập trung nâng cao tính ổn định và khả năng tương thích trong môi trường sản xuất, phiên bản chính thức vẫn đang được phát triển. Ngoài ra, SGLang đã ra mắt hỗ trợ xem trước công khai cho chip AWS Trainium, và hợp tác với Intel để tối ưu CPU, GPU và bộ tăng tốc của họ. Khung học tăng cường Miles v0.2 cũng đã được phát hành.

举报 Báo lỗi/Báo cáo
Báo lỗi/Báo cáo
Gửi
Thêm mới thư viện
Chỉ mình tôi có thể nhìn thấy
Công khai
Lưu
Chọn thư viện
Thêm mới thư viện
Hủy
Hoàn thành