🏢 公司C档 · NaN分

你的网站,正在被AI打包出售

··约1分钟阅读

📋 总体概括

Google、Microsoft、OpenAI计划支持统一AI训练退出协议,Brave却把搜索索引直接卖给了Cohere、Mistral、Perplexity。一边是站主获得说不的权利,一边是内容被批量变现。本文拆解AI时代搜索产业链的话语权再分配,以及站长必须重建的有机增长栈。

📄 正文

2025 年搜索圈最重要的一场博弈,主角不是某次算法更新,而是一行 robots.txt。

Google、Microsoft、OpenAI 三家正在计划共同支持一个共享的 AI 训练退出协议——网站主写一行声明,就能同时向多家模型供应商表达「不要用我的内容训练」的意愿。与此同时,另一条消息安静得多,却更狠:Brave 把自己的搜索索引打包卖给了 Cohere、Mistral 和 Perplexity,你的网页大概率就在里面。

一边是给站长「说不」的权利,一边是内容在站长不知情的情况下被批量变现。这两件事放在一起看,结论很清晰:AI 时代搜索产业链的话语权,正在重新分配,而站主手里的筹码比想象中少得多。

🤖 一行代码,三家巨头罕见握手

搜索行业吵了两年「AI 要不要抓我的内容」,现在终于出现了一个各方坐下来谈的姿态。

据 Search Engine Journal 报道,Google、Microsoft 与 OpenAI 正在计划共同支持一个共享的 AI 训练退出机制。逻辑并不复杂:过去网站主要对每一家爬虫分别设置 robots.txt 规则,写错一条、漏写一家,就等于默认授权。现在设想的是一条统一声明,可以同时覆盖多家 AI 供应商。

听上去是站长的胜利。但报道里有一句关键的话:「涉及的公司正在以不同的方式处理它。」

这句话值得逐字品。三家公司在 AI 战略上的处境完全不同——Google 自己就是最大的内容消费方,OpenAI 靠内容训练模型,Microsoft 两头下注。同一个「尊重退出」的承诺,落到各自的爬虫策略、产品形态、执行标准上,大概率会是三套不同的解释口径。可核查的事实是:目前 IETF 和主流标准体系中并不存在一个统一的「AI 训练退出」指令,各家实际上在用自家的私有方案(Google-Extended、GPTBot、CCBot 等 UA 识别),社区还提出了 Spawning 的 ai.txt、Cloudflare 的 Content Signals Language 等多个竞争性提案——「统一」本身还是一个尚未发生的承诺。

对习惯用合规框架管理技术风险的 SEO 从业者来说,这是熟悉的剧情:协议先行,执行滞后。sitemap 规范花了十年才被普遍遵守,一个覆盖 AI 训练的新声明,落地周期只会更长。

独立分析一:协议没有牙齿。 robots.txt 的规范(IETF RFC 9309)本身就写明指令是建议性的,没有强制机制——「退出协议」即使落地,靠的也只是自觉,站长想验证违约,只能靠分析自家服务器日志里的爬虫 UA 和 IP,而绝大多数中小站根本没有日志分析能力。补上这块能力的现实成本:一台日志分析工具或托管服务,每月几十到几百美元,外加每周人工核对的时间——这笔钱没人替你出。

独立分析二:欧盟已经演过一遍。 欧盟《数字单一市场版权指令》(DSM 指令)第 4 条早已规定了「机器可读的文本与数据挖掘退出权」,正是同一思路。但落地这几年,退出标识格式不统一、平台执行口径不一的争议一直没停过。这是共享退出协议最好的前车之鉴:写进法条的退出尚且如此,一行 robots.txt 能约束到什么程度,预期要打折。

产业逻辑层面,我的判断是:这不是技术的胜利,而是法律风险的胜利。 三家巨头联手推退出协议,本质上是在为未来必然到来的版权与授权争议提前铺设合规护城河——News/Media Alliance 2025 年 2 月起诉 Cohere 侵权,就是这条诉讼线已经开始的信号。谁先建立「我们尊重站主意愿」的叙事,谁在未来的内容授权谈判中就多一分筹码。

💸 Brave 把你的网页,卖给了 AI 公司

巨头在谈礼貌协议的时候,Brave 已经在闷声收钱了。

素材给的事实很直接:Brave 把它的搜索索引出售给 Cohere、Mistral 和 Perplexity。其中至少一条可以公开核查:Mistral 早在 2024 年 3 月就官宣其 Le Chat 的网页搜索由 Brave Search API 驱动;而 Brave Search API 本身是 Brave 官网上公开标价售卖的产品,AI 检索增强(RAG)是它明示的使用场景之一。

这意味着什么?意味着你的网站内容不需要被某家 AI 公司的爬虫直接抓取,也可能进入它们的模型视野——只要 Brave 的爬虫抓过你,而它的索引被卖了。

更扎心的是验证成本:30 秒。在 Brave 上做一个 site: 搜索,就能确认你的页面是否在索引里。行业的荒诞之处就在这里——确认自己的内容是否被卖掉,比阻止这件事容易得多。

把这条数据链路画出来,你会看得更清楚:

`

网站内容 → Brave 爬虫 → Brave 搜索索引 → API 标价售卖 → 各 AI 厂商的检索/引用环节

↘ 其他引擎的索引 → 各自产品(路径类似)

`

(定性示意图,不含量化数据——具体的流量分配比例没有任何公开口径,任何精确数字都是编造的。可以确认的只有链路本身。)

这件事对产业的冲击不在技术,而在商业模式的先例:搜索索引第一次被明确当成面向 AI 训练与检索场景的可出售资产。 这里需要修正一个容易夸大的说法:卖搜索结果本身不新鲜——Google 的 Custom Search JSON API、微软的 Bing API 已经卖了很多年。真正的先例是用途:过去 API 卖的是「给网站做站内搜索」,现在卖的是「喂给模型做引用和检索」,内容方在两种场景里的利益完全不同,而后者的授权链条里根本没有站长这一环。

独立分析一:站长并非完全不可控,但默认状态是沉默。 可核查的执行细节是:Brave 的官方爬虫 Bravebot 声明遵循 robots.txt。也就是说,你今天就可以在 robots.txt 里禁掉 Bravebot,从而退出 Brave 索引——代价是同时退出 Brave 搜索引擎本身的流量。真正的困局不是「无法说不」,而是默认状态下的沉默等于授权,而绝大多数站长不知道自己该对谁说不。这和 Cloudflare 2025 年 7 月起允许客户一键默认屏蔽 AI 爬虫、并试点「按请求付费」的 pay-per-crawl,是同一个问题的两种解法:一边给默认拒绝,一边给默认收费。

独立分析二:卖方拿全款,这个定价先例很危险。 参照系已经有了:Reddit 把内容授权给 Google,据 Reuters 报道每年约 6000 万美元——注意,这笔钱付给了 Reddit(UGC 的「平台」),而不是发帖的用户。Brave 卖索引给出的是一级市场价格的下限:卖方是平台,内容方一分钱拿不到。 如果这个分配结构被默认接受,未来所有索引授权费的分配谈判,起点都压在内容方为零这一档。

Google 不会跟着卖索引,它有广告业务兜底。但对 Brave 这类靠订阅和搜索变现的中小玩家来说,AI 公司是最快的现金来源。这条缝隙市场一旦打开,独立索引的所有者都会面临同样的诱惑。

📉 流量逻辑变了:从「排名」到「被引用」

如果说前两件事是产业链权力的转移,那真正让 SEO 从业者睡不着觉的,是流量逻辑本身在换轨。

Search Engine Journal 另一篇报道点出了方向:新的有机增长,要围绕 Google 的 AI 答案和独立聊天机器人最常引用的来源来构建——也就是搜索、社交、社区、AI 四条线的组合。

这里的关键词从「排名」变成了「引用」。过去 SEO 的模型是:优化内容 → 拿到排名 → 点击进站 → 转化。现在中间那段被 AI 答案截胡了:用户在搜索结果页直接得到答案,或者去聊天机器人里问,点击发生之前,注意力已经被消耗掉了。

于是竞争的战场从「十个蓝色链接」前移到了「AI 引用的来源池」。问题来了:AI 引用什么?

答案是:不只是你优化过的官网。它引用 Reddit 和社区讨论,引用社交媒体内容,引用各类被索引进模型语料的页面——包括 Brave 卖出去的那个索引里的所有内容。作者对链路中各方位置的判断如下(定性分析,非测量数据):

玩家在链路中的角色对内容方的态度
Google AI 答案流量入口 + 引用方一部分入口,一部分截胡者
Perplexity / 聊天机器人引用方引用为主,点击回流有限
Brave 索引授权供货商卖索引,不碰内容方分配
传统站长 SEO内容供给端议价能力最弱的一环

独立分析一:被引用是可以主动优化的,且有研究佐证。 2023 年普林斯顿等机构的研究者发布的 GEO(Generative Engine Optimization)论文(arXiv:2311.09735)用实验证明:在内容中加入引用、数据、引语等要素,能显著提升页面在生成式引擎中被引用的概率。这给「引用审计」提供了学术层面的支点——被引用不是玄学,而是可测、可操作的变量。

独立分析二:别一刀切,点击下滑的口径很乱。 关于 AI Overviews 对点击率的影响,各家研究的结论差异很大——有的显示信息型查询 CTR 大幅下滑,有的指出降幅高度集中在特定查询类型,且抽样口径不同。对从业者的实操含义是:交易型、工具型、需要最新数据的页面点击仍然稳,砍掉的应该是纯信息罗列型内容的生产预算,而不是把「点击已死」当成普适结论。

事实上,已经有品牌团队开始把「被 AI 引用的次数」纳入内容团队的考核指标,和传统排名、流量并列。这不是时髦,而是归因链条断裂后的自救——当点击减少,你必须找到新的方式证明内容资产还在产生价值。

🧭 站长的新增长栈:四条腿走路

那么实操层面怎么办?素材给出的方向是把有机增长栈重建为四层:搜索、社交、社区、AI。这不是并列的渠道清单,而是一个有主次的组合。

核心原则只有一句:围绕你的品类里,AI 答案和聊天机器人最爱引用的来源来布局。

2025有机增长栈
🔍
搜索
守住 Google 基本盘,同时监测 AI Overviews 的引用来源
📱
社交
社交内容日益成为 AI 检索与引用的对象
💬
社区
Reddit、论坛等社区讨论是 AI 答案的高频引用源
🤖
AI
让内容结构对 AI 可读、可引用、可溯源

拆开说三条可复制的打法:

第一,先做引用来源审计。 在你自己的品类里,去问主流 AI 产品几个典型问题,记录它引用了谁。是官网、评测站,还是社区讨论?这份清单就是你的新「关键词表」——过去追排名,现在追被引用的位置。执行细节决定这件事能不能持续:固定一套 15–20 个典型 prompt,每周在同一组产品上跑一遍,用表格记录引用来源的变化——没有台账的审计做两次就废了。成本很低:纯人工大约每周 1–2 小时,基本不需要付费工具。

第二,重新分配内容预算。 如果 AI 引用的来源里社区占大头,那只在官网发深度长文是不够的,需要在社区有真实的讨论沉淀。社交同理。预算分配跟着引用数据走,而不是跟着渠道惯性走。但这里有一个必须点破的反例:社区不是你的资产。 Reddit 2023 年 API 收费事件一夜之间杀死了大量第三方生态,说明社区平台政策可以随时翻转;你把预算押在别人家的社区里,本质上是用一种新的单一渠道依附替换旧的。四条腿里,「AI 可读性」(结构化数据、清晰署名、可溯源段落)是唯一完全握在自己手里的,优先级应该最高。粗略的成本参考(估算值,随品类浮动):一个专职社区运营的人力 ≈ 中型团队一年十几万到几十万人民币,比多写十篇长文的边际成本高得多——所以社区路线更适合「员工/创始人亲自下场参与讨论」的轻模式,而不是外包重模式。

第三

本文由本站 AI 辅助聚合生成,原始来源如下:

🔎 本文基于以下资讯(素材溯源 · 信息来源)

📰 相关阅读推荐(与本文相关的其他资讯)