Động sát Beating AI tin nhanh, các nhà nghiên cứu từ Berkeley, MIT và các nơi khác đã mã nguồn mở FreeToken. Đây là một công cụ suy luận MoE (Mô hình hỗn hợp chuyên gia) được thiết kế riêng cho các thiết bị cục bộ, chủ yếu giải quyết vấn đề mô hình siêu lớn không thể vừa với bộ nhớ GPU. Nó sẽ đặt một phần trọng số vào bộ nhớ hệ thống và cho phép CPU và GPU cùng tham gia suy luận.
FreeToken sẽ đặt phần lớn trọng số chuyên gia của mô hình vào bộ nhớ hệ thống, chỉ lưu một phần vào bộ nhớ GPU. Khi gặp chuyên gia không có trong bộ nhớ GPU, nó sẽ dựa trên băng thông PCIe và bộ nhớ CPU để động quyết định chuyển trọng số lên GPU hay giao trực tiếp cho CPU tính toán. Như vậy, CPU, GPU, bộ nhớ hệ thống và PCIe có thể cùng tham gia suy luận.
Theo thử nghiệm thực tế trong bài báo, một máy tính để bàn chơi game trang bị RTX 5090 chạy mô hình DeepSeek-V4-Flash với 284B tham số có thể đạt tốc độ 22–25 Token/s. Mô hình này chỉ kích hoạt khoảng 13B tham số thực tế cho mỗi Token tạo ra, vì vậy đặc biệt phù hợp với kiểu suy luận kết hợp CPU, GPU này.
FreeToken cũng chạy mô hình 35B trên laptop RTX 4060 với 8GB bộ nhớ GPU đạt 39.3 Token/s; với một card RTX PRO 6000 96GB có thể chạy GLM-5.2 với 753B tham số, tốc độ nhanh gấp khoảng hai lần llama.cpp. Dự án hiện hỗ trợ hơn 20 mô hình MoE và đã được mã nguồn mở theo giấy phép Apache 2.0.
