BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Trang chủ
AI AI
Tin nhanh
Bài viết
Sự kiện
BlockBeats Pro
Thêm
Thông tin tài chính
Chuyên đề
Hệ sinh thái chuỗi khối
Mục nhập
Podcast
Data
OPRR
Partnered With:

Google vừa phát hành mô hình khuếch tán văn bản mã nguồn mở DiffusionGemma: đạt hơn 1.000 Token mỗi giây trên một card đồ họa, tốc độ tăng gấp 4 lần.

Theo giám sát của Động Sát Beating, Google đã phát hành mô hình ngôn ngữ lớn mã nguồn mở thử nghiệm DiffusionGemma, sử dụng cơ chế tạo văn bản hoàn toàn mới dựa trên khuếch tán (diffusion), phá vỡ giới hạn của các mô hình ngôn ngữ lớn truyền thống vốn tạo từ theo thứ tự tuần tự. DiffusionGemma có tổng số tham số 26B, dưới kiến trúc hỗn hợp chuyên gia (MoE), mỗi lần truyền xuôi chỉ kích hoạt 3,8B tham số, tạo toàn bộ văn bản song song, đạt tốc độ tăng lên tới 4 lần trong suy luận GPU cục bộ.

Khác với phương pháp tạo từ tuần tự kiểu "máy đánh chữ" truyền thống, cơ chế hoạt động của DiffusionGemma tương tự như tạo hình ảnh: đầu tiên tạo các ký tự giữ chỗ ngẫu nhiên trên canvas, sau đó xóa nhiễu và khóa văn bản chính xác qua nhiều vòng lặp thời gian. Mỗi lần truyền xuôi có thể tạo song song 256 Token, cho phép tất cả Token tương tác chú ý hai chiều. Cơ chế chú ý hai chiều có lợi thế đáng kể trong các tác vụ tạo phi tuyến tính như điền mã, chỉnh sửa nội dòng và tạo công thức toán học, nhưng chất lượng đầu ra tổng thể của DiffusionGemma hiện vẫn thấp hơn Gemma 4 tiêu chuẩn.

Về hiệu suất thử nghiệm phần cứng và tốc độ suy luận, một card đồ họa NVIDIA H100 có thể đạt tốc độ tạo hơn 1000 Token mỗi giây, trong khi card đồ họa tiêu dùng NVIDIA GeForce RTX 5090 cũng vượt quá 700 Token. Sau khi lượng tử hóa dấu phẩy động 4-bit (NVFP4), dung lượng bộ nhớ suy luận có thể giảm xuống dưới 18GB, giảm đáng kể rào cản triển khai cục bộ.

Trọng số của DiffusionGemma đã được mã nguồn mở trên Hugging Face và nhận được hỗ trợ từ các công cụ phát triển chính thống như MLX, vLLM, Unsloth và NVIDIA NeMo.

举报 Báo lỗi/Báo cáo
Báo lỗi/Báo cáo
Gửi
Thêm mới thư viện
Chỉ mình tôi có thể nhìn thấy
Công khai
Lưu
Chọn thư viện
Thêm mới thư viện
Hủy
Hoàn thành