美团 mã nguồn mở mô hình lớn tham số nghìn tỷ LongCat-2.0, đồng thời mở mã suy luận thẻ nội địa Trung Quốc.

Theo dõi từ Động Sát Beating, Meituan chính thức mã nguồn mở mô hình lớn nghìn tỷ tham số LongCat-2.0, tổng tham số 1.6T, kích hoạt trung bình khoảng 48B, được thiết kế chuyên biệt cho các tác vụ Agentic Coding thực tế. Về kiến trúc, nó cải tiến với cơ chế LongCat Sparse Attention và N-gram Embedding: cơ chế trước giảm truy cập phân mảnh thông qua chỉ mục nhận biết luồng và chỉ mục phân cấp, tăng tốc huấn luyện và suy luận ngữ cảnh dài hàng triệu token; cơ chế sau đưa 135B tham số vào lớp embedding khi độ thưa thớt của MoE đã gần 97%, cân bằng lợi ích tham số và độ ổn định cấu trúc. Hậu huấn luyện sử dụng chưng cất trực tuyến đa giáo viên, chia chuyên gia thành ba loại: Agent, suy luận và tương tác, tích hợp liền mạch trên cụm tính toán nội địa thông qua kiến trúc MOPD. Là mô hình nghìn tỷ tham số đầu tiên trong ngành hoàn thành suy luận trên cụm tính toán nội địa 50.000 card, LongCat-2.0 xác nhận năng lực trưởng thành của chip nội địa trong việc đảm nhận các tác vụ mô hình lớn phức tạp.

Đối mặt với các hạn chế về bộ nhớ, băng thông và kết nối của chip nội địa Trung Quốc, Meituan đã đột phá từ ba hướng: mô hình, thích ứng chip và triển khai. Ở cấp độ mô hình, ScMoE tận dụng khả năng kiểm soát lõi của chip nội địa để thực hiện song song vật lý cấp lõi giữa nhánh Dense và MoE, kết hợp phân chia KV-cache để giảm áp lực bộ nhớ ngữ cảnh siêu dài; ở cấp độ thích ứng chip, Super Kernel giảm chi phí khởi tạo toán tử, Weight Prefetch ẩn độ trễ I/O, tối đa hóa hiệu suất phần cứng trong điều kiện hạn chế; ở cấp độ triển khai, PD tách biệt cân bằng TTFT và TPOT, kết hợp với cân bằng tải Expert-Parallel không đồng bộ để giải quyết tình trạng tải không đồng đều ở mức EP lớn. Lần mã nguồn mở này cũng cung cấp đồng thời các phiên bản đa độ chính xác như BF16, FP8 và INT8, đồng thời công bố hoàn chỉnh kết quả suy luận được tối ưu hóa tối đa cho tính toán nội địa, với mục tiêu cho phép các card nội địa hiện có, thậm chí cả card cũ, triển khai dịch vụ suy luận mô hình lớn nghìn tỷ tham số một cách mượt mà.

---------------------------------

Nhấp vào liên kết gốc bên dưới để tham gia kênh tin tức AI của Động Sát Beating · Feishu, theo dõi các điểm nóng và tin tức AI toàn cầu 24/7.