Theo giám sát của Động Sát Beating, tổ chức đánh giá ARC-AGI-3 là ARC Prize trước đây yêu cầu tất cả các mô hình sử dụng cùng một phương thức gọi đơn giản, nhằm tránh các nhà sản xuất nâng điểm bằng cách tùy chỉnh framework. Điều này giúp dễ dàng nhìn rõ năng lực thực sự của mô hình.
Khi phản hồi về bài kiểm tra gây tranh cãi của OpenAI, lập trường chính thức bắt đầu linh hoạt hơn. ARC Prize thừa nhận rằng việc lưu giữ lịch sử suy luận và nén ngữ cảnh quá dài có thể cải thiện hiệu suất xử lý tác vụ dài của mô hình, và đã bắt đầu nghiên cứu cách đưa các tính năng này vào đánh giá chính thức.
Người sáng lập ARC-AGI, François Chollet, đưa ra ranh giới: các framework được phát triển riêng cho ARC vẫn không được phép; các cài đặt chung mà tất cả người dùng API đều có thể sử dụng thì có thể xem xét. Ông cho rằng, mỗi bên sử dụng cài đặt gì, tốn bao nhiêu chi phí, đều nên được công khai.
Một khi cho phép các nhà sản xuất tự mang theo bộ nhớ và quản lý ngữ cảnh, ARC-AGI-3 sẽ không chỉ so sánh các mô hình, mà còn bao gồm năng lực kỹ thuật đằng sau API của từng bên.
