BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Trang chủ
AI AI
Tin nhanh
Bài viết
Sự kiện
BlockBeats Pro
Thêm
Thông tin tài chính
Chuyên đề
Hệ sinh thái chuỗi khối
Mục nhập
Podcast
Data
OPRR
Partnered With:

Các nhà phát triển đã biên dịch CPU 32-bit vào trọng số Qwen: chương trình máy tính chạy trực tiếp bên trong mô hình lớn

Động Sát Beating Tin nhanh AI, nhà phát triển độc lập Divyansh Agrawal đã tạo ra Qwenputer dựa trên Qwen3.5-4B của Alibaba, biên dịch trực tiếp một CPU ảo RISC-V 32-bit vào trọng số mô hình, cho phép mô hình lớn thực hiện tính toán chính xác ngay khi tạo câu trả lời mà không cần gọi công cụ tính toán bên ngoài.


Tác giả không huấn luyện lại Qwen, mà thêm 11 lớp vào trước 32 lớp mạng gốc, dùng trình biên dịch để viết trực tiếp quy tắc tính toán của CPU thành tham số mô hình. Mạng mới còn sử dụng cấu trúc Gated DeltaNet để hiện thực bộ nhớ có thể đọc ghi chính xác, dùng để lưu trữ chương trình và dữ liệu.


CPU ảo này đã có thể chạy các chương trình C đã biên dịch, và vượt qua bài kiểm tra lệnh RISC-V, trong bài kiểm tra thực thi tổng cộng khoảng 18 triệu lệnh không phát hiện lỗi.


Trong 40 bài toán nhân số lớn của DeepMind, Qwen gốc trả lời đúng 22 bài, Qwenputer trả lời đúng 39 bài; Qwen gốc sau khi kết nối Python bên ngoài thì trả lời đúng tất cả. Bản thân CPU có thể thực thi lệnh chính xác, nhưng mô hình lớn vẫn có thể mắc lỗi khi gọi hoặc xuất kết quả.


Hướng kỹ thuật này đã có tiền lệ. Vào tháng 3 năm nay, Percepta đã dùng mạng nơ-ron hiện thực một máy tính ảo có thể chạy chương trình C. Tuy nhiên, đó là mô hình được xây dựng chuyên biệt. Qwenputer thì kết nối năng lực tính toán tương tự vào Qwen đã được huấn luyện sẵn, cho phép mô hình ngôn ngữ sử dụng CPU nội bộ để thực hiện tính toán ngay khi tạo câu trả lời.


Tuy nhiên, giải pháp này hiện có hiệu suất rất thấp. Một lượng lớn tham số giá trị không đẩy kích thước tệp mô hình lên 18,8GB, gấp khoảng hai lần bản gốc, tốc độ tính toán cũng kém xa công cụ bên ngoài.

Báo lỗi/Báo cáo
Gửi
Thêm mới thư viện
Chỉ mình tôi có thể nhìn thấy
Công khai
Lưu
Chọn thư viện
Thêm mới thư viện
Hủy
Hoàn thành