Ant Group cải tiến UBTree trong suy luận giải mã: sàng lọc song song cây nháp, giúp mô hình lớn xác thực nhiều Token hơn trong một lần

Động Sát Beating Tin nhanh AI, Ant Ling đã mã nguồn mở giải pháp giải mã suy đoán cho mô hình lớn UBTree.

Giải mã suy đoán tương đương với việc để mô hình nhỏ "phác thảo trước", sau đó mô hình lớn xác minh nhiều Token cùng một lúc, giảm số vòng tính toán cần thiết để tạo từng Token.

Nhưng bản nháp cũng có vấn đề về tỷ lệ trúng. Mô hình nhỏ đoán sai càng sớm thì nội dung có thể được sử dụng trực tiếp sau đó càng ít. Trước đây đã có công nghệ chuẩn bị đồng thời nhiều đường ứng viên, tổ chức chúng thành một cây nháp, rồi cắt bỏ những nhánh ít có khả năng được chấp nhận.

UBTree đã cải thiện phương pháp sàng lọc. Nó dự đoán song song các Token có thể xuất hiện ở các vị trí tiếp theo, sau đó dùng một mô hình nhẹ để đánh giá liệu các Token liền kề có thể kết nối hợp lý hay không. Các tổ hợp khác nhau có thể được chấm điểm đồng thời, không cần chạy mô hình lặp lại dọc theo từng đường. Sau đó chọn ra những nhánh có triển vọng hơn, tổ chức thành cây nháp giao cho mô hình lớn xác minh.

Nhóm cũng đã điều chỉnh cách huấn luyện mô hình sàng lọc, để nó không chỉ tập trung vào câu trả lời có xác suất cao nhất mà còn có thể nhận diện các đường thay thế đáng được giữ lại, giúp mô hình lớn có cơ hội chấp nhận nhiều Token hơn mỗi vòng.

Trong bảy bài kiểm tra của Qwen3-4B, tỷ lệ tăng tốc trung bình khi xây cây bằng bộ chọn DFlash 2 là 5,95 lần. Sau khi đổi sang bộ chọn UBTree và điều chỉnh phương pháp huấn luyện, con số này tăng lên 6,88 lần, tương đương cải thiện thêm khoảng 16% so với phương án ban đầu.