BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Trang chủ
AI AI
Tin nhanh
Bài viết
Sự kiện
BlockBeats Pro
Thêm
Thông tin tài chính
Chuyên đề
Hệ sinh thái chuỗi khối
Mục nhập
Podcast
Data
OPRR
Partnered With:

FreeToken mã nguồn mở: một chiếc 5090 chạy DeepSeek-V4-Flash, tối đa 25 Token/s

Động sát Beating AI tin nhanh, các nhà nghiên cứu từ Berkeley, MIT và các nơi khác đã mã nguồn mở FreeToken. Đây là một công cụ suy luận MoE (Mô hình hỗn hợp chuyên gia) được thiết kế riêng cho các thiết bị cục bộ, chủ yếu giải quyết vấn đề mô hình siêu lớn không thể vừa với bộ nhớ GPU. Nó sẽ đặt một phần trọng số vào bộ nhớ hệ thống và cho phép CPU và GPU cùng tham gia suy luận.


FreeToken sẽ đặt phần lớn trọng số chuyên gia của mô hình vào bộ nhớ hệ thống, chỉ lưu một phần vào bộ nhớ GPU. Khi gặp chuyên gia không có trong bộ nhớ GPU, nó sẽ dựa trên băng thông PCIe và bộ nhớ CPU để động quyết định chuyển trọng số lên GPU hay giao trực tiếp cho CPU tính toán. Như vậy, CPU, GPU, bộ nhớ hệ thống và PCIe có thể cùng tham gia suy luận.


Theo thử nghiệm thực tế trong bài báo, một máy tính để bàn chơi game trang bị RTX 5090 chạy mô hình DeepSeek-V4-Flash với 284B tham số có thể đạt tốc độ 22–25 Token/s. Mô hình này chỉ kích hoạt khoảng 13B tham số thực tế cho mỗi Token tạo ra, vì vậy đặc biệt phù hợp với kiểu suy luận kết hợp CPU, GPU này.


FreeToken cũng chạy mô hình 35B trên laptop RTX 4060 với 8GB bộ nhớ GPU đạt 39.3 Token/s; với một card RTX PRO 6000 96GB có thể chạy GLM-5.2 với 753B tham số, tốc độ nhanh gấp khoảng hai lần llama.cpp. Dự án hiện hỗ trợ hơn 20 mô hình MoE và đã được mã nguồn mở theo giấy phép Apache 2.0.

举报 Báo lỗi/Báo cáo
Liên quanĐề xuất
Con đường phía trước đã không cho phép nó tiếp tục nhắm mắt bước đi nữa.
Báo lỗi/Báo cáo
Gửi
Thêm mới thư viện
Chỉ mình tôi có thể nhìn thấy
Công khai
Lưu
Chọn thư viện
Thêm mới thư viện
Hủy
Hoàn thành