8月16日，谷歌已将基于人工智能生成的便捷答案显示在搜索页面顶部，这可能导致用户不必点击原始内容来源网站。不过，许多网站所有者表示，他们无法阻止谷歌人工智能总结他们的内容，因为谷歌用于生成这些人工智能答案的网络爬虫与常规搜索引擎的爬虫相同。如果你选择屏蔽谷歌，也会阻止你的网站被用户发现。

谷歌在搜索领域的主导地位使其在人工智能竞争中占据了显著优势。搜索初创公司和出版商都认为当前的竞争环境对他们不公平。出版商面临着一个严峻的选择：要么提供内容来支持人工智能模型（这可能会削弱他们网站的重要性），要么放弃谷歌搜索，这是他们的主要流量来源。

新闻网站 Memo 出版商乔·拉加佐 (Joe ) 表示：“对于相关公司来说，这是一个生死攸关的决定。两种选择都很糟糕：要么退出竞争，面临立即的生存，要么与谷歌合作，暂时生存下来，但最终会被淘汰。”

谷歌表示，在其搜索结果顶部显示的AI摘要是其长期战略的一部分，旨在不断提高信息质量，扩大出版商和其他企业的机会。谷歌发言人在一份声明中表示：“谷歌每天为全球网站提供数十亿次点击，我们致力于维护和深化这种长期的价值交换关系。通过AI，用户体验得到改善，他们更频繁地返回搜索引擎，这为内容发现创造了新的机会。”

自成立以来，谷歌一直利用软件访问和“抓取”数百万个网站的内容，构建了庞大的全球互联网索引，这一成就为试图构建竞争搜索引擎的公司设置了难以逾越的障碍，即使是像微软这样财力雄厚的公司。

随着生成式人工智能的兴起，新一波初创公司纷纷涌现，旨在通过人工智能模型为用户提供精细化的答案。聊天机器人的流行让谷歌对其搜索引擎主导地位产生了前所未有的危机感。然而，在这些初创公司真正撼动谷歌业务之前，它们必须先解决如何抓取网络的问题，而这并不容易。

爬取网站的成本很高，无论是金钱、计算资源还是存储空间。因此，许多发布商在其设置文件中设置了爬虫如何访问其网站的规则。 和   Bing 通常会获得大量访问量，因为它们的搜索引擎会为网站带来大量流量。

不过，人工智能初创公司Tako Inc.首席执行官亚历克斯·罗森伯格表示，搜索引擎初创公司在获得市场关注之前，无法承诺为网站带来相应的流量，这促使它们开始与出版商达成协议，通过支付内容授权费用来获取内容。“如今，许多科技公司都会为内容付费，以确保自己拥有竞争所需的资源，但谷歌由于其特殊地位，无需这样做。”罗森伯格说。

谷歌一直强烈反对媒体公司与人工智能初创公司的频繁合作。据知情人士透露，除了与 CNN 达成的 6000 万美元交易外，谷歌私下告诉出版商，它无意参与内容授权谈判。

媒体公司在这些谈判中处于不利地位，尤其是在谷歌今年推出AI之后，这项服务利用人工智能在搜索结果顶部提供简洁的答案，立即引发出版商对其对流量影响的担忧，但又没有明确的应对计划。

值得注意的是，谷歌对部分人工智能产品（如聊天机器人）采用独立的爬虫，但其主抓取工具仍然同时服务于人工智能和常规搜索，因为两者在技术上紧密相关。谷歌发言人解释称，这种安排是为了统一管理，确保搜索体验的一致性和效率。

该发言人还指出，谷歌搜索结果页面以多种形式显示信息，包括图片和图表。此外，出版商可以选择阻止特定页面或部分内容出现在AI中。不过，这种选择可能伴随着这些内容也将从谷歌所有搜索功能中消失的风险，包括传统的网页链接列表。

由于大多数出版商至少有一半的流量来自搜索引擎，因此他们往往不愿意冒险削弱其在线影响力。

创新主管 Marc   代表出版商和网红表示，谷歌的立场未能充分考虑内容创作者面临的重大风险，尤其是那些依靠搜索曝光度谋生的人。他警告称，选择退出可能会无意中降低创作者的整体搜索曝光度，从而损害他们与观众建立联系并赚钱的能力。

这家提供消费电子产品在线维修指南的网站首席执行官凯尔·维恩斯表示，与其他人工智能公司相比，该网站与谷歌的关系更加“脆弱”。他强调：“我可以阻止我们网站的索引，而不会影响业务，但如果我们阻止它，我们就会失去流量和客户。”

谷歌此次与百度的合作，不仅为谷歌的人工智能模型提供了海量有价值的数据（来自用户对小众话题的深入讨论），而且通过增加百度等论坛的展示，也大幅拉动了流量增长。该发言人还表示，产品质量和加载速度的提升也对流量增长起到了积极作用。

据知情人士透露，这家搜索初创公司正在与谷歌就内容授权进行谈判，但谷歌与该公司的协议价格过高，这家初创公司无法接受。谷歌表示，其与谷歌的合作不仅限于数据训练，而是涵盖更广泛的领域。谷歌对此次商业合作的细节保持沉默。

其他搜索初创公司发现，获得此类数据几乎是不可能的。搜索初创公司 Kagi 的创始人   表示：“这个报价足以抹去我们 20 年的收入，所以我从未考虑过。”

面临这种困境的不仅仅是小型初创公司。尽管最近推出的测试版受到了广泛关注关键词搜索引擎工具，但许多知名网站（如亚马逊、和优衣库）都屏蔽了其 GPT 爬虫，这可能会对其搜索业务构成挑战。即使某个网站拒绝内容进行 AI 训练，它仍可能会出现在其搜索结果中，他说。

指出，Kagi 一半以上的成本都花在了网络爬虫和其他数据源上。构建详细的网络索引是搜索引擎的基础，搜索引擎为用户提供互联网内容的详细视图。而对于那些旨在通过人工智能直接回答用户问题的公司来说，数据具有更重要的战略意义。

表示：“生成式 AI 模型本身并不智能，必须依靠广泛的搜索索引才能提供高质量的输出。”

搜索初创公司创始人理查德·索切尔 ( ) 表示，.txt 文件无处不在，为爬虫设置了访问准则，迫使初创公司做出复杂的决策。虽然这些文件不具有法律约束力，但理论上，只要不涉及登录或用户验证，它们就可以爬取公开数据。他强调：“我们在爬取时，尽量不让网站超载。那些只允许谷歌爬取的 .txt 设置，本质上是在支持谷歌的搜索垄断。”

这家由谷歌前员工创办的搜索初创公司在去年被收购后，提出了“爬虫中立”倡议，以降低初创公司建立搜索索引的难度。鉴于法院已裁定谷歌垄断在线搜索市场，美国司法部正在考虑采取补救措施，包括迫使谷歌与竞争对手共享数据，甚至可能拆分该公司。

其中一项备受关注的提案将要求谷歌分享其收集的数据，或开放其著名的搜索索引。欧盟的数字市场指令已经要求谷歌分享一些搜索查询数据。

对于维恩斯来说，谷歌在搜索领域的主导地位是其人工智能业务的核心优势，也是反垄断争议的焦点。他建议将谷歌搜索与其人工智能业务分开关键词搜索引擎工具，以缓解利益冲突。

该搜索引擎表示，随着技术的变化，谷歌的搜索索引在生成式人工智能时代变得更加重要，这也加剧了反垄断担忧。其公共事务高级副总裁卡米尔·巴兹巴兹直言，搜索索引在当今的技术变革中至关重要。

Memo 的出版商   认为，无论谷歌反垄断案的结果如何，出版商都应该掌握自己的命运，减少对任何单一技术平台的过度依赖百度搜索两次会出现下拉吗★64xl.com下拉框软件可霸屏，下拉框关键词软件怎么用，包括谷歌。他补充说：“我们的信念是，你必须与读者建立真正的联系，这是打造经得起时间考验的出版物的关键。”（）