Theo theo giám sát từ Beating Dynamics, thành viên cốt lõi sau đào tạo của OpenAI Vọng Gia Dịch vừa chứng minh rằng "chỉ cần dùng mô hình lớn viết code đã đủ để vượt qua được trò chơi Atari", nghiên cứu viên Paul Garnier đã áp dụng phương pháp này vào việc điều khiển lưu chất cường độ cao hơn.
Anh ấy không huấn luyện bất kỳ mạng nơ-ron nào. Chỉ đơn giản là để Codex 5.5 đóng vai trò như một lập trình viên, nhìn chăm chú vào video mô phỏng lưu chất và lặp đi lặp lại việc sửa đổi kịch bản Python. Chỉ với những quy tắc điều khiển viết tay này, trên mười thử nghiệm vật lý, trí tuệ nhân tạo đã vượt qua được hơn nửa số tình huống so với dữ liệu cơ bản tối ưu hóa tăng cường (DRL).
Dù giảm lực cản cho ô tô, làm dịu dòng xoáy ống dẫn, ngành công nghiệp trước đây chỉ có thể dựa vào sức mạnh tính toán, ép buộc ra mô hình hộp đen không thể hiểu để điều khiển van luồng không khí. Codex đã thoát ra khỏi cùng một con đường cùng cạn. Những quy tắc mà nó viết ra vô cùng rõ ràng, ví dụ như "Khi bán kính cục bộ quá lớn, trì hoãn phun khí". Vài chục dòng mã ngắn mang kiến thức vật lý, trực tiếp thay thế cho việc thử và sai ngu ngốc của mạng nơ-ron.
Thay thế hộp đen bằng code đã loại bỏ nhược điểm cứng nhắc, dễ vỡ của mạng nơ-ron. Trước đây, chỉ cần thay đổi phần cứng một chút (ví dụ: từ 5 miếng sang 10 miếng vòi phun), mô hình cũ đã trở nên vô dụng ngay lập tức, phải tiêu thêm tiền để huấn luyện lại. Bây giờ chỉ cần thay đổi một hằng số trong mã nguồn, hệ thống ngay lập tức có thể tương thích với thiết bị mới.
Khi thời gian kiểm tra bị kéo dài bốn lần, mô hình truyền thống DRL truyền thống bị tan nát hoàn toàn khi vượt ra khỏi khu vực kinh nghiệm; nhưng mã được viết bởi mô hình lớn luôn ổn định do tuân thủ trực tiếp theo logic vật lý. Việc triển khai toàn bộ chiến lược điều khiển này chỉ mất 21.25 triệu Token cho mô hình lớn, tổng chi phí chưa đến 14 đô la.
