Google 摊牌：robots.txt 管不住 AI 训练

导语：一段十几分钟的技术视频，可能重新划定整个内容产业的权力边界。Google 的 Gary Illyes 在最新 robots.txt 官方视频里说了一句看似平淡的话：这个标准只管爬取，不管内容后续怎么用。翻译过来就是——robots.txt 挡得住爬虫，挡不住 AI 训练。所有指望用一个 txt 文件守住内容权利的人，需要重新算账了。

🎬 一句技术表态，捅破了行业的窗户纸

规则和权利，从来不是一回事。

事情的起因并不复杂。Search Engine Journal 报道，Google 搜索中心发布了新一期关于 robots.txt 的官方视频，由长期负责搜索生态沟通的 Gary Illyes 出镜讲解。视频里有两个核心信息：第一，robots.txt 作为标准，约束的对象是爬取行为，而非内容被抓取后的使用方式；第二，Google 建议非英语网站的 robots.txt 路径采用百分号编码（percent-encoding），以免规则写错、形同虚设。

前者才是真正的重磅炸弹。过去两年，大量站长和内容方把 robots.txt 当成对抗 AI 训练的第一道防线——写一行 Disallow，就默认自己的内容不会被拿去喂模型。这个约定俗成的理解，如今被标准制定者本人明确否定了。

据多位接近搜索引擎生态的人士透露，类似的问题在 Google 的站长沟通渠道里被反复问起，官方选择用视频而非博客公告的形式回应，本身就是一种「技术归技术」的姿态：不引发政策讨论，只澄清标准边界。

这里的产业逻辑很清楚：robots.txt 是 1990 年代的技术协议，解决的是服务器负载问题，不是 2020 年代的版权问题。它诞生的初衷是让爬虫「讲礼貌」，别把小服务器打挂。AI 训练是否可以使用已抓取的内容，属于使用许可的范畴，从来就不在这份协议的射程之内。Google 此番表态，只是把一个长期被误读的技术事实，重新说了一遍。

📜 三十年老协议，撑不起 AI 时代的新问题

拿旧地图，找不到新大陆。

robots.txt 是互联网上最古老的「君子协定」之一。它没有强制执行力——恶意爬虫完全可以无视它——它能成立，靠的是主流搜索引擎愿意遵守。三十年过去，这份协议一直在超负荷运转：先是被拿来管重复内容的抓取频率，后来又被当成分发控制工具，如今又被寄希望于管住 AI 训练。

我们用一张图看清它在整个内容流转链条中的真实位置：

注意那条虚线指向的「空白地带」：内容一旦被抓走，robots.txt 的影响就结束了。至于这份内容是进索引、进摘要、进训练集，还是被切片进回答里，协议层面没有任何约束。Google 的表述等于官方确认了这一点。

再看第二个细节——百分号编码的建议，很多人会忽略它，但它恰恰暴露了 Google 的真实态度。非英语网站的 URL 里往往含中文、日文或特殊字符，robots.txt 里如果直接写明文路径，爬虫可能无法正确匹配规则。Google 专门拍视频提醒这件事，说明它依然在认真维护爬取层的秩序。换句话说：Google 在乎你能不能精准地管住抓取，但没打算承诺抓走之后怎么用。一进一出之间，立场已经非常清楚。

对中文互联网尤其值得注意。中文内容站的 URL 结构复杂度普遍更高，编码写错导致 Disallow 失效、整站裸奔给爬虫的情况并不罕见。这条看似琐碎的技术建议，可能是这期视频里对国内 SEO 从业者最具操作价值的部分。

⚖️ 内容方的两难：禁抓是防守，也是自残

拔掉网线，防住了别人，也断了自己的流量。

摆在内容方面前的，是一道残酷的选择题。如果不想让内容进入 AI 语料，最直接的手段是在 robots.txt 里全面禁止抓取——但抓取是搜索收录的前提。禁抓意味着从 Google 的索引里消失，意味着自然流量归零。对绝大多数靠搜索活着的中小站点，这等于商业自杀。

过去两年，行业内已经出现过几家知名媒体选择全面禁止主流 AI 爬虫的案例，代价也摆在明面上：搜索可见度下滑，流量结构被迫重构。据从业者私下交流的说法，更多中型站点选择的是「观望」——既不敢禁，也不知道不禁会失去什么。

我们用一张四象限图，把不同类型内容方的处境摆出来：

规律一目了然：内容越独特、权利意识越强的玩家，越有资本在「禁抓」和「授权收费」之间做选择；内容同质化严重的站点，禁不禁抓其实影响不大，因为它们的内容本来就没什么训练价值。真正难受的是中间地带——有一定原创能力、但议价能力不足的媒体和垂类站：禁抓伤流量，不禁等于免费给模型打工。

还有一个容易被忽略的事实：robots.txt 是全站级别的开关，颗粒度极粗。你没法说「允许搜索抓取、禁止训练抓取」——除非各家的 AI 爬虫主动使用不同的 User-agent 并自觉遵守，而这依然是「协定」，不是「权利」。现在部分 AI 公司确实提供了独立的训练爬虫标识，但这恰恰反证了 Illyes 的观点：管不管得住，取决于对方是否自觉，而非协议本身。

🔧 破局：从「一层许可」走向「双层许可」

技术协议解决不了的问题，最终要靠商业结构解决。

既然 robots.txt 明确管不到使用层，内容方的出路就只剩一条：把许可拆成两层。第一层是爬取许可，继续用 robots.txt 管理；第二层是使用许可，需要新的工具——授权协议、付费墙、API 条款、版权声明，乃至行业集体谈判。海外内容方与 AI 公司之间陆续出现的授权交易，本质都是在补第二层的窟窿。这个方向可以用一张图概括：

把两层许可的差异拆成一张表，会更直观：

对 SEO 从业者，这个变化还有一层现实含义：robots.txt 的技术价值没变，甚至因为百分号编码这类细节建议而更受重视——搜索流量这场仗，依然要打。但对内容决策者，机器人协议只是防线的一半，另一半必须由商业模式来守。

可预见的路径是：头部内容方走授权收费路线，把内容变成可议价资产；中小站点则要在「用流量换曝光」和「守内容等议价」之间找到自己的位置。不管选哪条路，前提都是想明白——那个管了互联网三十年的 txt 文件，从今天起只负责一半的问题。

小结：Gary Illyes 这段视频的价值，不在技术科普，而在把一个被集体误读的边界重新画清楚：robots.txt 管爬取，不管使用；管搜索时代的礼貌，不管 AI 时代的权利。对内容方，防守工具箱里最顺手的那个工具被官方「除名」了，下一步只能靠双层许可和商业谈判补位。可以预期，围绕内容使用权的授权交易、行业标准和法律实践会在未来几年加速成型——谁先把手里的内容从「公开可抓」变成「分层可授权」，谁就先拿到 AI 时代的入场券。