Pokee phát hành mô hình 10 triệu Token, ngữ cảnh gần gấp 10 lần so với các mô hình chủ đạo.

Theo dữ liệu giám sát từ Beating, công ty khởi nghiệp AI Agent Pokee AI đã phát hành Pokee-Isaac 28B. Tổng tham số mô hình chỉ có 28 tỷ, nhưng cửa sổ ngữ cảnh đạt tới 10 triệu Token. Hiện tại, giới hạn của các mô hình chủ đạo là khoảng 1 triệu Token, Isaac gần gấp 10 lần chúng.

Trong bài kiểm tra nội bộ của Pokee, Isaac trong bài kiểm tra văn bản dài RULER, từ 256 nghìn đến 4 triệu Token luôn duy trì ở mức khoảng 95 điểm. Khi đẩy lên đủ 10 triệu Token, điểm số vẫn đạt 93,3. Năm mô hình đối chứng còn lại từ 2 triệu Token trở lên đều không trả về kết quả khả dụng.

Pokee quy nguyên nhân của ngữ cảnh siêu dài cho kiến trúc "không thuần Decoder-only" tự phát triển, tức là không hoàn toàn áp dụng cấu trúc thuần decoder của các mô hình lớn thông thường. Tuy nhiên, báo cáo kỹ thuật không công bố kiến trúc cụ thể, cơ chế chú ý và giải pháp bộ nhớ, nên bên ngoài tạm thời không thể đánh giá chính xác cách họ thực hiện.

Pokee AI được thành lập vào năm 2024, do Zhu Zheqing, cựu trưởng nhóm học tăng cường ứng dụng tại Meta, sáng lập. Công ty từng nhận được khoản đầu tư hạt giống 12 triệu USD do Point72 Ventures dẫn đầu, với sự tham gia của Qualcomm Ventures và Samsung NEXT.