DiffuSpace đã chuyển Qwen3.6 thành mô hình khuếch tán, chạy được 680 Token/s trên một card GB300

Động Sát Beating AI tin nhanh, DiffuSpace do giáo sư Đại học Hồng Kông Khổng Lệnh Bằng sáng lập đã công bố và mã nguồn mở Clover-35B-A3B-Preview.

Mô hình được cải tiến dựa trên Qwen3.6-35B-A3B của Alibaba, tổng tham số 35 tỷ, mỗi lần suy luận kích hoạt khoảng 3 tỷ tham số.

Các mô hình lớn truyền thống thường sinh Token tuần tự từ trái sang phải, Clover thì áp dụng khuếch tán khối, sinh ra một đoạn văn bản nhỏ mỗi lần, sau đó hoàn thành đầu ra thông qua dự đoán song song và sửa đổi lặp đi lặp lại. Nhóm nghiên cứu còn cải tiến Gated DeltaNet, nén và lưu giữ thông tin lịch sử, đồng thời cho phép các Token trong khối văn bản hiện tại tương tác hai chiều, để cân bằng giữa tốc độ sinh và hiểu ngữ cảnh.

Trong sáu bài đánh giá Agent được công bố chính thức, Clover đều đạt điểm cao nhất trong các mô hình được liệt kê. SWE-bench Verified đạt 73.6%, Terminal-Bench 2.1 đạt 51.7%, vượt qua Qwen3.6-35B-A3B gốc, cũng như các mô hình khuếch tán LLaDA2.2 Flash, Mercury 2.5, v.v. Tuy nhiên, danh sách so sánh không bao gồm Mercury 3 phát hành ngày 19 tháng 10.

Về tốc độ, Clover trên một card NVIDIA GB300, với độ chính xác BF16, chạy đơn luồng tác vụ Agent nội bộ, tốc độ sinh đạt 680 Token/s. Trên H200 đạt 515 Token/s, vượt qua mô hình Qwen cùng quy mô sử dụng tăng tốc DFlash2 (365 Token/s). Nhóm nghiên cứu còn triển khai phiên bản lượng tử hóa INT4 trên RTX 5070 Ti chỉ có 16GB bộ nhớ VRAM, tốc độ kiểm thử MATH-500 đạt 101.8 Token/s.