BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Trang chủ
AI AI
Tin nhanh
Bài viết
Sự kiện
BlockBeats Pro
Thêm
Thông tin tài chính
Chuyên đề
Hệ sinh thái chuỗi khối
Mục nhập
Podcast
Data
OPRR
Partnered With:

Google vừa phát hành mô hình Gemma 4 siêu nhẹ, lần đầu tiên giảm dung lượng bộ nhớ chạy cục bộ trên điện thoại xuống dưới 1GB.

Theo dõi từ Động Sát Beating, Google đã phát hành phiên bản trọng số mô hình nén lượng tử hóa cho mô hình lớn Gemma 4. Lượng tử hóa là một kỹ thuật thu nhỏ kích thước mô hình bằng cách giảm độ chính xác số học, nhưng thường khiến mô hình trở nên kém thông minh hơn. Để giải quyết vấn đề mất độ chính xác, Google lần này đã áp dụng công nghệ huấn luyện nhận thức lượng tử hóa, mô phỏng trạng thái nén trong quá trình huấn luyện mô hình, cho phép mô hình tự động điều chỉnh để thích ứng với hoạt động ở độ chính xác thấp, nhờ đó giảm đáng kể kích thước mô hình trong khi vẫn duy trì mức độ thông minh cực cao.

Thông qua công nghệ nén chuyên dụng cho thiết bị di động, mô hình văn bản thuần túy Gemma 4 E2B có thể giảm mức sử dụng bộ nhớ xuống dưới 1GB khi chạy trên các thiết bị đầu cuối như điện thoại. Để đảm bảo hoạt động mượt mà trên điện thoại cục bộ, Google đã tối ưu hóa đặc biệt cho chip di động. Nhóm phát triển đã hoàn thành phần lớn công việc tính toán trong giai đoạn huấn luyện để giảm tải thời gian thực cho chip điện thoại, đồng thời áp dụng cấu trúc tính toán phù hợp hơn với phần cứng điện thoại để tăng tốc gốc. Nhóm cũng đã nén sâu bảng từ vựng và bộ nhớ đệm. Ngoài ra, các lớp cụ thể chịu trách nhiệm tạo Token đã được nén cực độ ở mức 2-bit, chỉ giữ lại độ chính xác cao ở các lớp suy luận cốt lõi, nhờ đó tối đa hóa việc tiết kiệm dung lượng lưu trữ mà không ảnh hưởng đến hiệu suất logic cốt lõi.

Trọng số mô hình mới hiện đã được phát hành mã nguồn mở trên Hugging Face. Người dùng cá nhân có thể tải xuống và chạy trực tiếp trên máy tính cá nhân thông qua Ollama và LM Studio. Đối với các nhà phát triển di động và web, trọng số mới đã đồng bộ hỗ trợ engine LiteRT-LM và có thể chạy trực tiếp trên web thông qua Transformers.js. Đồng thời, vLLM, SGLang và công cụ tăng tốc chip Apple MLX cũng đã hoàn tất tương thích, thuận tiện cho các nhà phát triển triển khai nhanh chóng.

举报 Báo lỗi/Báo cáo
Báo lỗi/Báo cáo
Gửi
Thêm mới thư viện
Chỉ mình tôi có thể nhìn thấy
Công khai
Lưu
Chọn thư viện
Thêm mới thư viện
Hủy
Hoàn thành