🏢 公司C档 · NaN分

美联航:搜索随便爬,AI先拿许可

··约1分钟阅读

📋 总体概括

美联航更新官网条款:公开页面对搜索引擎索引保持开放,但AI代理访问需事先书面许可,且明确禁止用其数据做AI grounding。一条条款把'搜索流量'与'AI数据'切成两类资产分开定价,标志着内容方从默认被爬进入主动谈判时代。

📄 正文

一份不起眼的条款更新,可能是内容方与AI产业关系转折的信号。据Search Engine Journal 2025年7月报道,美联航(United Airlines)更新了官网united.com的服务条款(条款页标注的更新生效时间为2025年7月),划出三条清晰的边界:公开页面继续向搜索引擎开放索引;AI代理要访问,先拿书面许可;用其数据做AI grounding(模型 grounding/检索增强),明确禁止。

很多人第一反应是“又一家网站防AI了”。但真正值得琢磨的,是它把三种完全不同的访问行为拆开、区别对待——这恰恰是当下整个内容产业最缺的一份“分账表”。

📋 一条条款,划出三条边界

先看事实。据SEJ摘录的条款原文,美联航把三件事分别写进了法条里(中文为编译大意,原文以官网英文条款为准):

“关于grounding:
“"Scraping, crawling, harvesting, or extracting data from this website—including for the purposes of training, fine-tuning, or grounding any machine learning or artificial intelligence model—is strictly prohibited without United's prior written consent."

>

“(大意:未经美联航事先书面同意,对本网站数据进行抓取、爬取、收割或提取——包括用于训练、微调或grounding任何机器学习或AI模型——均被严格禁止。)
“关于AI代理:
“"Use of any software agent, automated assistant, or other automated system to access, search, or transact on this website requires United's prior written permission."

>

“(大意:使用软件代理、自动化助手或其他自动化系统访问、查询或在本网站交易,须事先获得美联航书面许可。)
“关于搜索:
“"Publicly accessible pages remain open to search engine indexing, subject to the robots rules posted on this site."

>

“(大意:公开页面继续向搜索引擎开放索引,前提是遵守本站robots规则。)

美联航方面确认了条款更新属实,但截至发稿,未就授权谈判的具体流程、价格机制作进一步说明。值得注意的是,这不是简单的“反爬条款更新”——其他航司(如达美、美航)的条款里长期也含自动化访问禁令,但据SEJ的对比,普遍没有把“AI代理”和“AI grounding”作为独立类别点名。美联航是目前少数把三层通道分层写进条款的交易型网站之一。

为什么说是“分层”?因为过去网站对外的访问控制,基本只有一件工具:robots.txt。它诞生于上世纪90年代,逻辑非常粗糙——要么全放,要么全拦,无法区分“搜索引擎来索引网页”和“AI代理替用户来订票”这种天差地别的行为。

美联航这次的做法,等于在robots协议之外,直接用服务条款补了一层“访问分级”。

访问通道典型主体前提条件美联航的态度条款依据
搜索索引搜索引擎爬虫遵守robots规则开放,维持现有SEO流量公开页索引条款
AI代理执行替用户完成任务的Agent事先书面许可需谈判,视同商务合作自动化系统书面许可条款
AI训练/grounding模型厂商未授权明确禁止训练/grounding禁令条款

产业逻辑很直白:搜索索引带来的是流量和转化,是营销资产;AI grounding消耗的是数据本身的价值,是数据资产;AI代理则是绕过官网界面直接触达交易环节的新入口。三件事的价值流向完全不同,凭什么用同一个开关管理?

美联航没有做非黑即白的决定,而是第一次把‘门’拆成了三扇。

🔍 为什么放搜索、拦AI?

金句先放这儿:搜索给网站带来客人,AI grounding只把客人留在了别人家。

对航司这类交易型站点,搜索流量直接对应购票转化,SEO投放了十几年,渠道价值早已被验证。搜索引擎索引公开页面,本质是一次“我给你内容、你给我流量”的交换,双方各取所需。

但AI grounding不一样。当用户在对话里问“纽约到东京哪天票价最低”,如果答案直接由模型基于航司数据生成,用户可能根本不会点进官网。数据被拿走了,转化却没有发生——这是一笔只出不进的账。这不只是航司的感受:据Cloudflare 2025年7月披露的数据,十年前Google每带来1次用户访问约需爬取2页,如今这一比例已变成约15:1,而OpenAI的GPTBot爬取与推荐之比更是高达约1700:1——爬得越多,回流越少,这就是内容方普遍感到“只出不进”的数据底座。

AI代理的处境则更微妙。Agent替用户查航班、比价甚至下单,看起来像“带着客人来的”,但它也在事实上接管了原本属于官网的界面和决策权。航司最值钱的阵地——舱位展示、附加服务、常旅客体系——全都在代理的这一层界面上被“跳过”了。所以美联航把代理访问单独拎出来,要求书面许可,本质上是在说:你可以来,但我们要先谈分成和规则。

业内私下流传的说法是:“robots.txt管爬虫,服务条款管生意。” 前者是技术礼节,后者才是商业契约。

🗺️ 从‘默认被爬’到‘主动谈判’

把镜头拉远,这不是一家航司的孤立动作,而是整个内容产业位置迁移的一个切片——而且已经有明确可查的先例和价格锚点:

  • Reddit × Google(2024年2月):据Reuters报道,Reddit与Google达成每年约6000万美元的内容授权协议;同期Reddit在IPO文件中披露,其数据授权业务已成为新的收入线。
  • News Corp × OpenAI(2024年5月):据WSJ报道,协议价值五年超过2.5亿美元,覆盖《华尔街日报》《纽约邮报》等媒体内容。
  • The Atlantic、FT、美联社等:据公开报道,也先后与OpenAI等模型厂商达成内容授权协议(金额未披露)。
  • Cloudflare(2025年7月):宣布默认屏蔽AI爬虫,并推出“pay-per-crawl”(按次付费抓取)试点——把“默认开放”翻转为“默认收费”,这是基础设施层面的一次立场表态。

过去二十年,内容方和抓取方的关系是默认开放的:只要 robots.txt 没禁止,谁都可以爬。这套默契建立在“抓取→索引→回流流量”的循环上。而生成式AI打破了循环的闭环——数据被用于训练和直接生成答案后,流量回流这一环断了(Cloudflare的1700:1就是最直接的量化证据),默契随之瓦解。

于是内容方开始分化。用两个维度看:一是开放度(愿不愿意让AI用我的数据),二是执行强度(有没有能力把规则落到条款和技术层面)。

美联航的位置很有代表性:对搜索保持开放(开放度中高),但靠条款把AI代理和grounding管起来(执行强度较高)。这是典型的‘谈判派’姿态——不掀桌子,但把筹码摆上了桌。Reddit就是这个象限里已经谈出价格的样本:不是拒绝,而是把数据标了价。

对AI产业而言,这意味着一件事:数据不再有默认价格,每一份都要谈。 互联网早期的‘免费数据红利’正在快速消退,模型厂商和Agent公司未来要么付费拿授权(参照:Reddit每年6000万美元、News Corp五年2.5亿美元的市场价锚点),要么在缺数据的状态下硬做产品。这场谈判的筹码分布,正在从AI一侧向内容一侧回摆。

📉 对SEO与营销人的三重冲击

作为长期管SEO和投放的人,我更关心实操层面:这件事会怎么改变我们的工作?

第一,搜索流量还在,但要盯住‘份额转移’。 美联航保持搜索索引开放,说明传统SEO短期内不会塌。但AI回答正在分走‘信息型查询’的点击——第三方监测机构BrightEdge对Google AI Overviews的持续追踪显示,被AI摘要覆盖的查询中,传统自然结果的点击率出现了两位数百分比的下滑;Similarweb 2025年中的报告也显示,AI平台带来的推荐流量绝对值仍小(约占站点总流量1%上下),却是增速最快的渠道之一。交易型查询(订票、比价)迟早也会被Agent接管。营销人需要把归因体系拆得更细:哪些转化来自搜索点击,哪些来自AI答案里的引用,哪些来自代理的直接完成——不拆清楚,预算就会错配。

第二,GEO(生成式引擎优化)出现了权限门槛。 过去讲AEO/GEO,默认假设是‘内容可被抓取就能被引用’。美联航的条款给出了另一种现实:内容能否进入AI的检索池,越来越取决于商务授权而非技术开放。换言之,GEO的上半场拼内容质量,下半场拼数据协议。

第三,品牌官网的交易界面价值被重新定价。 如果Agent可以持许可直接查询和预订,官网就从一个‘必须经过的界面’变成‘可选的入口’。航司、酒店、电商这类强交易型品牌,必须想清楚:哪些环节留给Agent,哪些环节必须留在自己手里——会员体系、增值服务、动态定价,这些是它们最不愿让渡的部分。

内容方应对AI时代的四组解法
痛点 1
AI代理绕过官网界面直接完成任务
→
解法
用条款要求书面许可,把代理访问变成商务谈判筹码
痛点 2
数据被用于grounding却没有流量回流
→
解法
明确禁止未授权grounding,为付费授权留出议价空间
痛点 3
搜索与AI流量混在一起无法归因
→
解法
按访问通道拆分归因模型,分别核算ROI
痛点 4
robots.txt无法表达差异化策略
→
解法
条款+技术双层管控,对搜索、代理、训练分级开放

🧭 营销人的应对清单

最后给一份可落地的判断框架。据我观察,多数企业官网现在的状态是‘条款几年没更新、robots一把抓’——这在对Agent时代等于裸奔。建议按四步走:

1. 盘点数据资产:哪些页面是流量资产(值得对搜索开放),哪些是数据资产(不该白给AI),哪些是交易资产(代理碰不得)。

2. 更新条款与robots:像美联航一样分层表态,宁可写得保守,也不要默认全开。

3. 重做归因:把‘AI引用带来的品牌曝光’和‘搜索点击带来的转化’分开计量,别让AI端的ROI继续是一笔糊涂账。

4. 预留谈判位:不要急着全面封锁,授权谈判的筹码是‘可控的开放’,不是‘彻底的关门’——Reddit和News Corp的成交价已经证明,谈出来的价码远比想象中值钱。

一句话总结这个时代的新规则:开放是策略,不是默认值。

结语

美联航这份条款更新,表面是一家的合规动作,实质是内容方对AI产业的一次‘重新定价’:搜索照旧开放,代理凭证进门,训练免谈。加上Reddit、News Corp已落地的授权价格和Cloudflare把“默认开放”翻转为“默认收费”的基础设施动作,可以预见,接下来会有更多交易型品牌跟进这套‘分层开放’打法,网站主与AI公司之间的授权谈判会成为新的常态生意。对营销人而言,真正的功课是:在搜索、AI引用、代理执行三条通道上,分别搞清楚自己的流量从哪来、价值往哪去——别等到预算错配了才发现,门早就换了锁。

📚 信源与说明

1. Search Engine Journal:United Airlines官网服务条款更新报道(2025年7月)

2. United Airlines官网:united.com服务条款页(标注更新于2025年7月,英文原文为准)

3. Reuters(2024年2月):Reddit与Google内容授权协议,约6000万美元/年

4. WSJ(2024年5月):News Corp与OpenAI授权协议,五年超2.5亿美元

5. Cloudflare官方博客(2025年7月):默认屏蔽AI爬虫、pay-per-crawl试点及爬取/推荐比数据

6. BrightEdge:Google AI Overviews对自然结果点击率影响的持续追踪

7. Similarweb(2025年中):AI平台推荐流量规模与增速报告

说明:文中条款引文为据SEJ报道的摘录,中文均为编译大意,具体表述以官网英文条款原文为准;授权协议金额来自公开媒体报道,准确数字以原始信源为准。

本文由本站 AI 辅助聚合生成,原始来源如下:

🔎 本文基于以下资讯(素材溯源 · 信息来源)

📰 相关阅读推荐(与本文相关的其他资讯)