三家巨头,认了同一行代码
据 Search Engine Journal 报道,Google、Microsoft 与 OpenAI 计划共同尊重一个共享的 AI 训练退出信号:站长在 robots.txt 声明一次,即可同时约束多家 AI 爬虫。本文拆解信号标准化的产业价值、三家执行口径的微妙差异,以及内容方最该立即做的三件事。
做了十几年内容站的人,最近第一次觉得自己的服务器日志有了谈判筹码。据 Search Engine Journal 报道,Google、Microsoft 与 OpenAI 正计划共同尊重一个共享的 AI 训练退出机制:站长只需在 robots.txt 里声明一次,就能同时对多家 AI 厂商表达『不要用我的内容训练模型』。我的判断是:这不是内容的胜利,而是信号标准的胜利——它把一场打不动的谈判,降维成了一行可以落地的代码。但『计划尊重』和『真的执行』之间,还隔着一整个产业的利益算盘。
🤖 一行声明,三家认账
内容行业等来的不是一部法律,而是一个行业默契。
任何一个靠内容吃饭的站长,这几年都干过同一件事:打开服务器日志,看 GPTBot 这类 AI 爬虫来过多少次,然后钻进每家厂商的帮助文档里找对应的屏蔽语法。Google 要设一个参数,OpenAI 要设另一个,Microsoft 旗下又是另一套口径。屏蔽一家容易,屏蔽一圈下来,robots.txt 快写成了小作文。
事实层面,据 Search Engine Journal 的报道,三方正在推动一个共享的退出机制——用同一个声明表达『不用于 AI 训练』,几家共同尊重。报道同时点出了一个关键细节:参与的公司处理方式并不相同。这句话后面会反复用到。
这件事真正的价值不在『能不能屏蔽』,而在『信号标准化』。对站长来说,维护成本从 N 份降到 1 份;对 AI 公司来说,尊重一个公开标准,远比被逐个点名体面得多。标准先行,往往是监管进场前行业自治的最后窗口——谁先定义了规则,谁就在下一轮利益分配里占住位置。
📜 三十年老协议,接上新问题
robots.txt 从来没有法律强制力,它靠的是三十年攒下的行业信用。
时间拨回 1994 年,一群爬虫开发者约定了一个朴素规则:每个网站根目录放一个文本文件,愿意给抓的给抓,不愿意的说一声。三十年过去,这份『君子协定』成了整个开放网络运转的地基。
AI 大模型把这套老协议重新推上了牌桌。OpenAI 上线了 GPTBot,允许网站单独屏蔽其训练抓取;Google 推出了 Google-Extended,控制内容是否用于其模型训练。问题也随之而来:信号碎片化——每家一套语法、一套语义、一套生效范围,站长事实上很难说清自己到底『退出』了什么。
选择 robots.txt 作为共享退出信号的载体,是成本最低的方案:基础设施现成、站长习惯现成、行业惯例现成。AI 公司要做的不是发明新技术,而是给旧协议加一个新语义。这也是这件事值得 SEO 与内容行业认真对待的原因——这是近三十年来,这份协议第一次被三家头部公司联合扩展。
robots.txt 诞生,君子协定确立
GPTBot与Google-Extended先后上线
三家计划共同尊重共享退出信号
🔀 认同一行代码,不等于做同一件事
信号统一只是第一步,语义分歧才是问题的核心。
素材里最值得咀嚼的一句话是:参与的公司『处理方式各不相同』。这不是含糊其辞,而是三家商业结构的必然差异。Google 手里同时握着搜索和 Gemini,屏蔽训练不等于屏蔽搜索,两个口子必须分开管;OpenAI 没有搜索包袱,『退出训练』可以执行得更干脆;Microsoft 则同时是 OpenAI 的重要合作方和 Bing、Copilot 的运营方,边界怎么画,本身就是一个商业问题。
| 信号/工具 | 关联方 | 作用范围 | 当前状态 |
|---|---|---|---|
| robots.txt | 全行业 | 传统抓取准入 | 事实标准 |
| GPTBot | OpenAI | 模型训练抓取 | 已上线 |
| Google-Extended | 模型训练用途 | 已上线 | |
| 共享退出信号 | 三家联合 | 一处声明、多家生效 | 计划中 |
对站长和营销人来说,真正要盯的不是『有没有这个功能』,而是三点:一是『可抓取但不可训练』与『完全屏蔽』是否被清晰区分;二是 AI 摘要类引用算不算训练用途;三是声明生效的时间差。标准落地的头几个月,各家执行口径一定存在灰区,谁验证得细,谁少吃亏。
⚖️ 没有法律兜底,退出权值几个钱
退出权的真正作用,是给未来的授权谈判提供定价起点。
必须把底色说清楚:robots.txt 是自愿协议,没有强制力。共享退出信号并不改变这一点——愿意守规矩的厂商多了一条体面的合规路径,不打算守规矩的爬虫照样可以无视。据多位长期关注内容授权的人士私下判断,这个信号更大的意义在于为未来的内容授权交易提供前置条件:你先声明了退出,才谈得上『授权使用』的价格。
生态位决定了各方动机。模型能力越强的玩家,越需要『体面地获取数据』,这个标准对它们是公关资产;而技术门槛低、商业模式依赖免费抓取的聚合类玩家,才是真正的规则盲区。判断这个标准能不能立住,别看宣言写得漂亮,看它对第四象限的玩家有没有实际约束力。
💡 站长与营销人的三步动作
标准是别人的,决策是自己的。
第一步,盘点内容资产。把内容分成三类:靠搜索流量吃饭的、有独特数据价值的、同质化资讯类的,分别决定开放、退出还是谈授权,别一刀切。
第二步,验证执行。共享信号落地后,别信公告,信日志——定期核对 GPTBot、Bing 等爬虫在声明之后的抓取频率是否真的变化,把每家的执行口径记成台账。
第三步,重估内容策略。AI 搜索时代,『被引用』和『被训练』是两件价值完全不同的事:前者可能带来曝光和流量,后者是在替对手攒模型。把这两件事分清楚,比多写十条 SEO 技巧清单都重要。
✅ 写在最后
共享 AI 训练退出信号,表面上是三家巨头给站长的一颗定心丸,实际上是内容行业和 AI 行业进入『规则谈判期』的标志。下一步值得盯两件事:一是各家执行口径是否逐步收敛,二是监管是否会顺着这个行业标准接盘。对内容人来说,当下最划算的动作只有一个——趁标准刚立,把退出权和定价权的主动权,先拿回自己手里。