DeepSeek mã nguồn mở công cụ suy luận nội bộ DeepInfer: hỗ trợ Ascend 950, nhưng chưa phải là dịch vụ trực tuyến hoàn chỉnh
Động Sát Beating Tin nhanh AI, DeepSeek chính thức mã nguồn mở khung suy luận nội bộ DeepInfer, theo giấy phép Apache 2.0. Hệ thống này đã được dùng để hỗ trợ dịch vụ trực tuyến quy mô lớn của DeepSeek V4.1 Flash. Trước đó, DeepSeek đã lần lượt mã nguồn mở thư viện tính toán DeepGEMM, toán tử chú ý FlashMLA và thư viện truyền thông DeepEP. Lần này tiếp tục công khai khung cốt lõi phụ trách song song đa card, lập lịch tác vụ và tăng tốc sinh.
Mục tiêu của DeepInfer là để cùng một lượng sức tính toán xử lý nhiều yêu cầu hơn, đồng thời rút ngắn thời gian chờ của người dùng. Nó có thể phân bổ các chuyên gia khác nhau của mô hình lên nhiều card tính toán, và để lập lịch CPU và tính toán GPU diễn ra đồng thời. Giải mã suy đoán DSpark có thể sinh trước nhiều Token ứng viên, rồi sắp xếp xác minh theo độ tin cậy. SWA Bounded Replay thì cho phép mô hình khi xử lý văn bản dài chỉ tính lại một đoạn nhỏ nội dung gần đây, giảm tính toán lặp lại. Ngoài ra, còn hỗ trợ đầu ra có cấu trúc như JSON, và cơ chế lấy mẫu có thể tái lập.
Lần mã nguồn mở này còn có một bước ngoặt. Tháng 4 năm 2025, DeepSeek từng giải thích rằng công cụ suy luận nội bộ của họ được cải tạo sâu từ vLLM thời kỳ đầu, gắn chặt với cụm máy chủ của riêng họ, khó có thể mở trực tiếp cho cộng đồng sử dụng, nên quyết định tách ra các thành phần độc lập trước. Nay mã cốt lõi cuối cùng đã được công khai, nhưng vẫn chưa phải là giải pháp triển khai trực tuyến hoàn chỉnh. GitHub ghi rõ, phiên bản hiện tại chủ yếu cung cấp suy luận ngoại tuyến, còn thiếu các thành phần như quản lý bộ nhớ đệm KV, tách biệt giai đoạn đầu vào và sinh, và cân bằng tải giữa các bản sao.
Hiện tại DeepInfer chỉ hỗ trợ DeepSeek V4.1 Flash, tương thích GPU NVIDIA SM100 và NPU Huawei Ascend 950. Kiểm thử hiệu năng chính thức lần lượt dùng 4 và 64 GPU SM100 để đo xử lý đầu vào và sinh đầu ra, nhưng không cung cấp so sánh hiệu năng cùng điều kiện với vLLM, SGLang. Đồng thời cập nhật deepseek-recipe, cung cấp khả năng mã hóa và giải mã tin nhắn cùng Token căn chỉnh với API chính thức, hỗ trợ các định dạng như nội dung suy nghĩ, hình ảnh và gọi công cụ.
