GPT-6 bắt đầu "tự viết tay" mạng nơ-ron: biến quy tắc trò chơi thành trọng số, điểm số trò chơi đập gạch cao hơn 20 lần

Động Sát Beating AI tin nhanh, trong mạng nơ-ron thường có hàng triệu, hàng trăm triệu tham số, trước đây chủ yếu dựa vào thuật toán huấn luyện để điều chỉnh lặp đi lặp lại. Nhóm nghiên cứu MIT phát hiện GPT-6 Astra đã có thể trực tiếp phân tích, sửa đổi những con số này, thậm chí không cần huấn luyện, có thể viết ra một bộ mạng nơ-ron từ đầu.

Nhóm nghiên cứu đưa cho GPT-6 quy tắc, mã nguồn của trò chơi gạch đơn giản hóa và một bộ mạng nơ-ron có toàn bộ trọng số bằng không, để nó tự điền tham số. Không cung cấp dữ liệu huấn luyện, cũng không cho phép chơi thử. GPT-6 tự tính toán điểm rơi của bóng, viết logic dự đoán và di chuyển thanh chắn vào trọng số mạng. Cuối cùng điểm trò chơi đạt 517,4, gấp khoảng 20 lần mô hình có cấu trúc tương đương được huấn luyện bằng học tăng cường 500 triệu bước. Tuy nhiên, ở hai trò chơi khác, nó không vượt qua mô hình huấn luyện 500 triệu bước.

Nhóm nghiên cứu sau đó để GPT-6 trực tiếp sửa đổi trọng số của Alibaba Qwen3.5-0.8B. Nó không huấn luyện lại mô hình, chỉ thay đổi 0,016% tham số, đã khiến độ chính xác toán học MATH-500 tăng từ 7,9% lên 48,1%, điểm tuân thủ chỉ dẫn cũng tăng gần 3 lần.

Hóa ra, Qwen thường rơi vào vòng lặp suy nghĩ chết, lặp đi lặp lại suy luận mà không đưa ra câu trả lời. Trước khi sửa đổi, 93% câu trả lời bài kiểm tra toán sẽ tiêu hao hết 32768 Token; sau khi sửa đổi giảm xuống 33,1%. GPT-6 tương đương đã sửa được khuyết điểm cản trở mô hình trả lời bình thường.

Nhưng đổi sang Gemma 3 270M chỉ có 270 triệu tham số, GPT-6 đã không thể cải thiện rõ rệt điểm toán. Mô hình nhỏ hơn này hiếm khi rơi vào vòng lặp chết, vấn đề chính là bản thân số học và suy luận dễ sai, không thể dễ dàng giải quyết bằng cách sửa đổi một lượng nhỏ trọng số.

Nhóm nghiên cứu gọi phương pháp trực tiếp đọc ghi tham số này là "Lập trình không gian trọng số" (Weight-Space Programming).