动察 Beating Tin nhanh AI, OpenAI, Google, Microsoft và Anthropic đã đạt được thỏa thuận: từ nay các trang web chỉ cần thêm hai quy tắc `User-Agent: __usage_ai-training` và `Disallow: /` vào `robots.txt` là có thể đồng thời thông báo cho các công ty này biết không được lấy nội dung của mình để huấn luyện AI. Trước đây, các trang web phải thiết lập quy tắc riêng cho từng trình thu thập như GPTBot, ClaudeBot, v.v.
Bộ quy tắc này chỉ nhắm đến việc huấn luyện AI, sẽ không đồng thời cấm trình thu thập thu thập dữ liệu trang web, và cũng không nhất thiết ảnh hưởng đến việc AI trích dẫn nội dung trang web trong câu trả lời. Nó được một kỹ sư của Anthropic đề xuất, hiện vẫn là bản thảo kỹ thuật của Nhóm Đặc trách Kỹ thuật Internet (IETF).
Cách thực thi quy tắc của các công ty không hoàn toàn giống nhau. Microsoft cho phép trang web riêng biệt cấm huấn luyện AI, đồng thời giữ cơ hội để nội dung được AI tìm kiếm trích dẫn. Google thì dự định gắn quy tắc này với thiết lập Google-Extended hiện có, có thể sẽ hạn chế luôn cả việc Gemini trích dẫn nội dung trang web.
Anthropic đã bắt đầu áp dụng, Microsoft dự kiến có hiệu lực vào tháng 2 năm 2027, Google dự kiến hỗ trợ vào năm 2027, OpenAI cũng sẽ ra mắt trong vài tháng tới.
Nhưng những quy tắc này không thể thu hồi dữ liệu đã được dùng để huấn luyện trước đó, cũng không thể buộc các công ty AI tuân thủ.
