PrismML đã nén Qwen3.6 xuống còn 4GB, nhồi mô hình 27B vào iPhone.

Theo giám sát của Động Sát Beating, phòng thí nghiệm AI PrismML do nhà toán học Babak Hassibi của Viện Công nghệ California đồng sáng lập cho biết đã nén mô hình mã nguồn mở Qwen3.6-27B của Alibaba và chạy thành công trên iPhone 17 Pro.

Qwen3.6-27B là mô hình dày đặc với 27 tỷ tham số. Khi suy luận, tất cả các tham số đều tham gia, không phải mô hình MoE chỉ kích hoạt một phần tham số.

PrismML cho biết kích thước mô hình đã giảm từ khoảng 54GB xuống dưới 4GB mà hiệu suất không suy giảm đáng kể. Mô hình này có thể được sử dụng cho các tác vụ hội thoại phức tạp, suy luận, Agent và mã code.

Apple đã liên hệ với PrismML để thảo luận về cách sử dụng công nghệ này. Apple luôn muốn đưa nhiều AI hơn vào thiết bị cục bộ, nhưng Siri cao cấp vẫn phụ thuộc vào mô hình đám mây.