Theo giám sát của Động Sát Beating, Google đã phát hành mô hình ngôn ngữ lớn mã nguồn mở thử nghiệm DiffusionGemma, sử dụng cơ chế tạo văn bản hoàn toàn mới dựa trên khuếch tán (diffusion), phá vỡ giới hạn của các mô hình ngôn ngữ lớn truyền thống vốn tạo từ theo thứ tự tuần tự. DiffusionGemma có tổng số tham số 26B, dưới kiến trúc hỗn hợp chuyên gia (MoE), mỗi lần truyền xuôi chỉ kích hoạt 3,8B tham số, tạo toàn bộ văn bản song song, đạt tốc độ tăng lên tới 4 lần trong suy luận GPU cục bộ.
Khác với phương pháp tạo từ tuần tự kiểu "máy đánh chữ" truyền thống, cơ chế hoạt động của DiffusionGemma tương tự như tạo hình ảnh: đầu tiên tạo các ký tự giữ chỗ ngẫu nhiên trên canvas, sau đó xóa nhiễu và khóa văn bản chính xác qua nhiều vòng lặp thời gian. Mỗi lần truyền xuôi có thể tạo song song 256 Token, cho phép tất cả Token tương tác chú ý hai chiều. Cơ chế chú ý hai chiều có lợi thế đáng kể trong các tác vụ tạo phi tuyến tính như điền mã, chỉnh sửa nội dòng và tạo công thức toán học, nhưng chất lượng đầu ra tổng thể của DiffusionGemma hiện vẫn thấp hơn Gemma 4 tiêu chuẩn.
Về hiệu suất thử nghiệm phần cứng và tốc độ suy luận, một card đồ họa NVIDIA H100 có thể đạt tốc độ tạo hơn 1000 Token mỗi giây, trong khi card đồ họa tiêu dùng NVIDIA GeForce RTX 5090 cũng vượt quá 700 Token. Sau khi lượng tử hóa dấu phẩy động 4-bit (NVFP4), dung lượng bộ nhớ suy luận có thể giảm xuống dưới 18GB, giảm đáng kể rào cản triển khai cục bộ.
Trọng số của DiffusionGemma đã được mã nguồn mở trên Hugging Face và nhận được hỗ trợ từ các công cụ phát triển chính thống như MLX, vLLM, Unsloth và NVIDIA NeMo.
