Theo dữ liệu giám sát từ Beating, Cognition đã ra mắt bộ đánh giá mã thông minh hoàn toàn mới mang tên FrontierCode, tập trung đánh giá "khả năng hợp nhất" (Mergeability) của mã do AI tạo ra, thay vì chỉ đơn thuần kiểm tra tính chính xác khi chạy. Bộ đánh giá này được phát triển với sự hợp tác của 36 dự án mã nguồn mở bao gồm Celery, Budibase, uppy và Mattermost, mỗi nhiệm vụ đều được các nhà phát triển đầu tư hơn 40 giờ để hoàn thiện, nhằm kiểm tra chất lượng kiểm thử mã, tuân thủ tiêu chuẩn thiết kế, phạm vi sửa đổi và quy tắc phong cách.
FrontierCode được chia thành ba cấp độ: Extended (150 nhiệm vụ), Main (100 nhiệm vụ) và Diamond (50 nhiệm vụ khó nhất). Trên bộ nhiệm vụ Diamond có độ khó rất cao, hiệu suất của các mô hình lớn hiện tại vẫn còn nhiều dư địa cải thiện: Claude Opus 4.8, mô hình hoạt động tốt nhất, chỉ đạt 13,4% điểm số, GPT-5.5 đạt 6,3%, Gemini 3.1 Pro đạt 4,7%, trong khi Kimi K2.6, mô hình mã nguồn mở hoạt động tốt nhất, chỉ đạt 3,8%.
Để ngăn chặn các mô hình lớn vượt qua bài kiểm tra bằng cách gian lận hoặc đầu cơ, bộ đánh giá đã đưa vào nhiều cơ chế đánh giá, bao gồm yêu cầu các bài kiểm tra do tác nhân thông minh viết phải thất bại trên mã lỗi gốc (kiểm tra ngược), cũng như giới hạn phạm vi về số lượng tệp và dòng mã được sửa đổi. Nhóm phát triển cũng đã thiết kế công cụ mutagent dựa trên mô hình lớn, bằng cách điều chỉnh linh hoạt môi trường kiểm thử để chấp nhận các triển khai khác biệt hợp lý, giảm tỷ lệ đánh giá sai xuống còn một phần năm so với SWE-Bench Pro.
