站长的最后护栏，Google 说从没装过

站长的最后护栏，Google 说从没装过。

Google 搜索 relação 负责人 Gary Illyes 在新一期官方视频里，把一个被整个行业心照不宣『误读』了多年的事实摆上了台面：robots.txt 只管爬虫能不能来抓，不管抓走的内容被拿去做什么——包括 AI 训练。视频同时给了一个看似琐碎却极其实用的建议：非英文路径务必做好百分号编码（percent-encoding）。

一句话，两个信息点，但第一点足以让大量依赖 robots.txt『挡 AI』的网站重新审视自己的技术策略。这篇文章就把这件事拆开讲清楚。

🤖 一个 30 年的老标准，被 AI 撞出了认知裂缝

先说结论：Illyes 没有改规则，他只是在纠正一场持续多年的集体误会。

robots.txt 这个标准诞生于上世纪九十年代，是万维网最早的『君子协定』之一：网站在根目录放一个文本文件，声明哪些路径允许爬虫访问、哪些不允许。2019 年 Google 把自家的解析器开源，2022 年相关规范正式成为 IETF 的 RFC 标准——它管的始终是同一件事：抓取（crawling）。

但过去两年，AI 生成式产品爆发，站长圈形成了一种高度流行的默认操作：想不被 AI 用，就在 robots.txt 里封一波 AI 爬虫的 UA（User-Agent），然后心安理得。多位站长在社区里反复确认『我封了，是不是就安全了』，得到的答案大多是模棱两可的『大概率是的』。

这次 Illyes 把话说死了：robots.txt 覆盖的是抓取行为本身，至于内容被抓走之后怎么用——进索引、做摘要、还是喂给模型——不是这个标准要回答的问题。

这不难理解。一个协议只能约束它声明的对象和行为。robots.txt 是网站对爬虫下达的访问指令，爬虫遵守了，协议就履行完了；至于抓到的数据在服务器另一端进了哪个管线，那是数据使用政策、服务条款、版权授权谈判的领地，技术标准管不着，也不应该管。

产业逻辑很清楚：技术协议的边界，永远小于商业博弈的边界。把护栏问题交给一个三十岁的抓取协议，本身就投错了对象。

⚖️ 『管爬不管用』：内容的控制链到底断在哪

把这件事放进整条内容控制链看，会更清楚。

网站内容从被访问到被利用，中间有好几道门：抓取门（爬虫能不能来）、索引门（来了之后进不进搜索库）、使用门（拿去干什么）。三道门对应三种不同的工具，而绝大多数站长只装了第一道门。

看清这张表就明白行业的尴尬：唯一能物理阻断内容流向 AI 的手段（登录墙），恰恰是以牺牲搜索流量为代价的；而不牺牲流量的手段（robots.txt），约束力只到爬虫门口为止。这就是当代内容方最真实的两难。

对 Google 来说，这个表态也是一次利益的清晰切割。Google 自己同时是全世界最大的搜索爬虫运营者和最大的 AI 公司之一，AI Overviews、Gemini 都需要海量网络内容。官方把 robots.txt 的语义收窄到『抓取』，等于公开划了一条线：搜索引擎生态的准入规则，和 AI 时代的数据使用规则，是两个议题。前者的门槛没有变，后者的规则还在博弈当中。

据多位接近行业沟通的人士观察，这种『语义收紧』的官方口径近半年在各类渠道反复出现，指向同一个信号：平台不打算让旧的抓取协议承担新的数据治理责任。

🌐 percent-encoding：一个细节，暴露了非英文站长的真实痛点

视频的第二个信息点听起来像边角料：Illyes 建议站长对 robots.txt 中的非英文路径做好百分号编码（percent-encoding）。

但对中文、日文、俄文等非拉丁字符体系的网站，这是实打实的高频事故现场。URL 中出现中文时，协议层要求以百分号编码形式书写，而不少站长会把带原字符的路径直接贴进 robots.txt——结果是规则写了等于没写，页面照抓不误，站长还以为已经屏蔽成功。这类『静默失效』没有任何报错提示，等站长从日志里发现时，往往已经过了好几个月。

这件事和 AI 议题放在一起看，其实是同一个主题的两面：robots.txt 是一个写起来容易、写对很难的工具。语义上它管得比你以为的少（不管用途），语法上它又挑剔得比你以为的多（编码、路径匹配、大小写）。一个连屏蔽规则都可能静默失效的工具，被当成 AI 时代的核心防线，风险可想而知。

给非英文站长三条可立即执行的建议：

1. 立即用在线校验工具复核现有 robots.txt，确认非 ASCII 路径是否已正确编码；

2. 用爬虫模拟工具做一次真实验证，确认屏蔽规则确实生效；

3. 把『robots.txt 生效』从假设升级为定期巡检项，而不是一次性的配置动作。

🧭 四象限：内容方在 AI 时代的四个选项

既然 robots.txt 不是护栏，内容方真正的选项是什么？把各家姿态放进一个『封禁力度 × 搜索流量依赖』的矩阵里，格局一目了然。

• 右上·全面开放换取流量：多数中小内容站的现状。搜索仍是生命线，只能默认开放，等授权市场成熟。
• 左上·封 AI 爬虫保搜索准入：不少媒体的选择——用 robots.txt 对 AI 爬虫说不，同时维持对搜索爬虫的开放。这正是 Illyes 这支视频戳破幻想的人群：屏蔽了抓取，不等于屏蔽了使用，历史存量数据的归属仍是悬案。
• 中部·混合策略：对部分内容做技术授权、部分内容开放，用合同而非协议划界，谈判成本高但主动权在自己手里。
• 右下·主动筑墙：登录墙、付费墙，物理阻断一切。代价是彻底放弃公开网络的分发红利，只适合用户资产足够厚的玩家。

注意一个关键区分：对『未来的抓取』，robots.txt 是有效的；对『已经被抓走的内容』，它无能为力。很多站长混淆了这两件事，这是本次澄清最具杀伤力的地方。

🔧 落地：站长和内容方现在该做的三件事

焦虑解决不了问题，把动作拆到执行层面才有意义。

第一步是技术补课：这次视频提醒的 percent-encoding 问题，本质是把 robots.txt 从『配置过』升级为『验证过』。花一个下午的时间核对编码、跑一次模拟抓取，回报率极高。

第二步是重划边界：承认控制链的缺口，明确哪些内容可以公开抓取、哪些只进搜索索引、哪些必须上墙。用 robots.txt 管抓取、用 meta/X-Robots-Tag 管索引、用条款和合同管使用——三层工具各司其职，别再指望一层解决所有问题。

第三步是参与规则制定。数据使用规则目前处于真空期，内容方与其被动等待，不如开始盘点自己的数据资产和授权价值。可以推演的路径是：随着 AI 公司对高质量语料的争夺加剧，内容授权会从个案走向市场，谁先搞清楚自己有什么可卖的，谁就先拿到定价权。

📌 小结：协议退场，谈判登场

Illyes 这支视频没有宣布任何新政策，但它做了一件更重要的事：把行业的幻觉戳破。robots.txt 从来只是抓取协议，AI 时代的数据使用规则需要新的工具、新的合同和新的市场。

对站长，当务之急是把技术自查做扎实——从编码验证到爬虫日志；对内容方，真正的护城河不再是一个 txt 文件，而是对内容资产的定价能力和谈判筹码。接下来的 12 到 24 个月，授权机制如何成型、平台如何回应，值得所有内容从业者盯紧。护栏没了，该谈的合同躲不掉。