发生了什么
OpenAI 于10月30日宣布支持共享的 robots.txt 训练偏好信号。出版者应区分搜索发现与模型训练。
为何重要
网站可能希望文章被搜索到，同时对训练用途设置不同政策。应阅读各抓取工具的实际文档，因为相似的用户代理名称可能承担不同功能。robots 规则是抓取指令，不能保护私密内容。敏感资料应放在身份验证之后。
接下来检查什么
梳理公开内容与目标抓取工具，测试规则语法，确认重要文章仍可抓取。为未来接手者记录政策，并定期复查供应商行为。不要假定一个指令适用于所有 AI 系统。
事件日期指原始公告日期，发布日期指本文首次刊登于 Codorc 的日期。
