Unsloth nén cực hạn mô hình GLM-5.2 với 753B tham số, triển khai mượt mà trên máy Mac cục bộ.

Theo dữ liệu giám sát từ Động Sát Beating, Unsloth AI đã công bố việc sử dụng công nghệ lượng tử hóa động để nén mô hình tham số 753B GLM-5.2 của Zhipu AI xuống hơn 80% dung lượng, đồng thời phát hành phiên bản định dạng GGUF hỗ trợ triển khai cục bộ trên Mac. Thông qua lượng tử hóa động 1-bit và 2-bit, mô hình vốn có dung lượng lên tới 1,51 TB có thể được thu gọn xuống còn 217 GB (biến thể 1-bit) đến 239 GB (biến thể 2-bit UD-IQ2_M), cho phép các nhà phát triển thông thường và doanh nghiệp vừa và nhỏ chỉ cần một chiếc Mac Studio duy nhất để triển khai và chạy cục bộ ngoại tuyến.

Phiên bản lượng tử hóa đã đạt tốc độ mượt mà 21,6 tokens/s trên thiết bị Mac Studio M3 Ultra (bộ nhớ thống nhất 256 GB), đồng thời giữ lại từ 76% đến 82% độ chính xác của mô hình gốc. Trong bài kiểm tra so sánh do Unsloth AI công bố, GLM-5.2 GGUF cấp 1-bit chạy hoàn toàn cục bộ khi đối mặt với prompt viết một game HTML5 hoàn chỉnh có phong cách pixel, hiệu ứng âm thanh và hệ thống hạt (bản sao Flappy Bird mang tên Sunset Flier), chất lượng tạo ra tương đương với Claude 4.8 Opus và GPT-5.5.

Là mô hình hỗn hợp chuyên gia (MoE) mã nguồn mở do Zhipu AI phát hành, GLM-5.2 sở hữu tổng cộng 753B tham số và ngữ cảnh 1 triệu token. Trong chế độ triển khai truyền thống, việc chạy các mô hình siêu lớn đòi hỏi phải xây dựng cụm tính toán đa card đám mây với chi phí cao, nhưng việc ra mắt giải pháp lượng tử hóa động đã phá vỡ rào cản phần cứng, giảm đáng kể ngưỡng triển khai độc lập các mô hình mã nguồn mở hàng đầu cho cá nhân và nhóm nhỏ. Hiện tại, trọng số GLM-5.2 GGUF đã được mở để tải xuống trên nền tảng Hugging Face, người dùng có thể trực tiếp tải và chạy thông qua llama.cpp hoặc Unsloth Studio.