Mỹ Đoàn mã nguồn mở mô hình lớn nghìn tỷ LongCat-2.0 đầu tiên sử dụng chip nội địa từ huấn luyện đến suy luận.

Theo giám sát của Động Sát Beating, Meituan đã mã nguồn mở mô hình MoE (Hỗn hợp chuyên gia) siêu quy mô LongCat-2.0. Mô hình có tổng cộng 1,6 nghìn tỷ tham số, số tham số kích hoạt trên mỗi token khoảng 48 tỷ, hỗ trợ ngữ cảnh siêu dài 1M.

Đây là mô hình lớn nghìn tỷ tham số đầu tiên trong ngành hoàn thành toàn bộ quy trình huấn luyện và suy luận dựa trên sức mạnh tính toán nội địa. Mô hình đã hoàn thành quá trình tiền huấn luyện trên 35 nghìn tỷ token trên cụm chip AI nội địa với hơn 50.000 chip, xác nhận thành công tính ổn định về mặt kỹ thuật của sức mạnh tính toán nội địa trong việc vận hành các mô hình lớn tiên tiến.

Các cập nhật cốt lõi của LongCat-2.0 tập trung vào ngữ cảnh dài và hiệu suất suy luận. LongCat Sparse Attention (LSA) giải quyết chi phí bộ nhớ và tính toán do chỉ số chú ý thưa thớt gây ra, bằng cách giới thiệu chỉ số nhận biết luồng, chỉ số xuyên lớp và chỉ số phân cấp, giúp việc đọc chỉ số trong suy luận văn bản dài liên tục hơn, đồng thời có thể tái sử dụng một phần kết quả chỉ số giữa các lớp liền kề.

Mô hình cũng tích hợp mô-đun nhúng 5-gram với 135 tỷ tham số, mở rộng không gian nhúng thông qua việc mô hình hóa các tổ hợp token liền kề, tăng cường biểu diễn ngữ cảnh cục bộ. So với chỉ dựa vào định tuyến chuyên gia MoE, các lớp nhúng tiền tố này có thể giảm một phần áp lực đọc/ghi bộ nhớ trong suy luận batch lớn.

Trong các bài đánh giá Agent và mã nguồn chính thống như SWE-bench Pro, hiệu suất của LongCat-2.0 tiệm cận và thậm chí vượt qua một số mô hình đóng nguồn chính thống.