太巧了！就在昨天，GPT-4 公布了（现在已经集成到微软的新版 Bing 中），今天百度又发布了《文心易言》，即将集成到百度的搜索引擎中。搜索领域已经很久没有这么热闹了。

图片来源

想想看，如果你问具有AI语言对话功能的百度搜索：“李彦宏为什么能永葆青春？”它会怎么回答？它会给你推荐一家抗衰老医美医院吗？

过去几周，“脑力劳动者”尝到了这一轮AI技术爆发和信息搜索产品的甜头，发现将其作为“私人助理”来干一些辛苦的工作也不错。

当你有疑问又不想查阅大量文献时，它会帮你做研究，在“消化”完信息后，用“人类语言”帮你总结。在新的 Bing 界面中，你现在最多可以同时与它进行 15 轮对话。它有“理解”上下文的能力，所以你可以问一个还没有得到明确回答的问题。

与新 Bing 对话 | 图片来源： Bing

这是和传统搜索引擎在体验上最大的不同。进一步解释一下，新版Bing的工作原理是将用户的疑问转化为“搜索语句”。在传统搜索引擎中搜索查找信息，结合用户的位置、时间信息、上下文，对用户的疑问给出有针对性的解答，同时标注参考来源。

人们批评的是，它引用的来源质量没有保证，有大量的UGC（普通用户产生的内容）和没有经过权威认证的内容。然后它就拿着这些东西“胡编乱造”。

但至少它的态度很好，想想毕竟是“刚毕业”，人们立马就拿它跟传统搜索引擎做比较，对于完全公开的事实和信息查询，它至少能帮你省下查找和阅读资料的时间。

如此下去，传统搜索引擎是不是会被“抛弃”？它们是如何一步步变得越来越难用的？

搜索引擎的工作原理

人们一直在试图得到一个更准确的答案。在万维网出现之前，人们依靠 FTP 协议来共享文件资源。当有一个可搜索的文件名列表（称为 FTP）时，你必须逐字输入文件名，它会返回一个可以下载文件的 FTP 地址。

丨图片来源@

这听起来工作量很大，但毕竟 1990 年人们才刚刚开始“搜索”互联网。由此产生的网页搜索需求使得开发人员想到了两种解决方案。

一种是收集并整理URL（ ，统一资源定位符），比如大家所熟悉的URL；另一种是开发一个自动程序，在万维网上进行搜索，并返回符合用户搜索的搜索结果，这个自动程序就叫做爬虫。

爬虫机器人丨图片来源101

爬虫接到用户的查询命令后，并不是在浩瀚的万维网上寻找“答案”，而是定期爬取新的网页，将其收录到原网页数据库中，并进行预处理，最后根据查询关键词对网页进行排序后返回。由于数据存储的限制，最初无法保存全部的爬取数据，只能爬取网址、标题和描述。后来出现了可以抓取全文的爬虫，这更接近今天的搜索引擎的概念。

如果你想知道“为什么这些页面会排在第一页？”，你首先需要了解搜索引擎的工作原理。

上文提到，爬虫在完成第一步采集之后，需要对数据进行预处理，比如去重、删除营销账号内容、判断后面采集的网页是否抄袭等等。

那怎么才能快速“匹配”呢？就得对数据进行分类，搜索引擎处理页面、用户搜索的时候，都是基于词的。

页面被转换成很多关键词的集合，每个关键词对应一系列文件，当用户搜索某个关键词时，程序会在“倒排索引”中找到这个关键词，同时也知道包含这个关键词的所有文件，以及这个关键词在各个页面上出现的频率、格式、位置等。

但搜索引擎怎么知道“如何断句”呢？尤其是在中文语境下，比如你输入“香蕉牛奶”，它知道它的意思不只是“香蕉和牛奶”，还有“香蕉味牛奶”。这就需要从海量网页的文本样本中学习，计算相邻词出现的概率。相邻词出现的次数越多，组成一个词的可能性就越大。

卡内基梅隆大学的一位计算机科学家将搜索定义为“检索和选择性地传递信息”。选择向用户显示什么内容的关键词是“相关性”。

最初，搜索引擎只是按照数据库中匹配信息的顺序对搜索结果进行排序，后来又使用简单的内容分析来增加更多相关性维度。

我们知道，用户的问题应该分解成一串关键词。词频和密度是一个因素。搜索词在页面上出现的次数越多，密度就越高，这意味着页面与搜索词的相关性越高。同样，如果关键词有特殊的格式（在标题、标签、粗体、H标签、锚文本中），关键词出现得越早，就越有可能与网页内容相关。

搜索引擎怎么知道我要搜索的“”是“”？

但你发现，似乎没有“相关性”可以解决“链接质量”的问题。超链接分析算法解决了这个问题，并因此而声名鹊起。该算法评估网页入站链接的质量和数量。就好像，不仅科技巨头在研究它，连你用快手快手的奶奶也在急切地问：“这个东西怎么发音？”

因此，算法会根据“越多的网页指向A网页，A网页就越重要”和“越多的优质网页指向A网页，A网页就越重要”这两点对一个网页进行评分（PR值），PR值越高，排名就越高，无论是被NYT引用，还是被机器人批量生产的网页引用，权重都是不一样的。

图片来源

当然，排名过程是一个“复杂算法”，超链接分析只是其中一个“因素”。数字营销公司总结了最影响谷歌搜索排名的13个因素：

内容质量

内容的独特性

完全可抓取的页面

适用于任何设备

超链接数量

域名权重。域名权重越高什么网站发布信息百度收录快，网站上所有网页的排名就越高。

锚文本

页面加载速度

关键词匹配度

· （语义理解算法，它理解关键词背后的概念而不是单词本身。这与搜索引擎在被问到从未问过的问题时如何理解你想要问什么有关。）

符合搜索意图（如果您点击第一个搜索结果并快速返回，则意味着您不喜欢该结果。）

内容新鲜度

· 专业性、权威性、可信性

这些只是众多影响因素中的一部分，我们需要逐一研究。比如，如何识别内容的质量？可以参考以下标准：文章越长，应该越全面；客观事实比“主观表达”更有用；结构化的内容更容易阅读（无论是人类还是机器）。

综上所述，“排名算法”决定了当你搜索“苹果价格”时，是推荐“带柄的红色水果”还是“苹果公司”；也决定了今天更突出的结果是什么，而不是原来的价格。

搜索引擎变坏了

2006 年，研究人员查看了 Ask、MSN 和 上搜索“搜索”一词时首页的搜索结果，发现 84.9% 的结果是每个搜索引擎独有的，1.1% 的结果是所有搜索引擎共有的。只有 7% 的顶级搜索结果相似。

2011 年，研究人员收集了 Bing 针对 100 个查询返回的结果，域名重叠度为 29%，独特域名更多，不看排名，结果集之间的相似度增加。“这说明与 Bing 的排名偏好不同，但索引来源大多相同。”

类似地，2016 年的一项研究显示，Bing 上 67 个“信息查询”（）返回的前 10 个结果重叠程度很高，前 5 个结果略有相似。

这些研究进展并不能完全回答“为什么百度和搜狗的首批结果不同？”这个问题，但它们似乎表明，不同搜索引擎上的搜索结果的重叠性随着时间的推移而增加，而排序算法是导致结果差异的主导原因。

原因在于爬虫和索引是纯技术部分，到现在各个公司的技术都已经成熟，大同小异，而在排名和展示阶段，则是资本和商业的考量，这让你意识到“为什么排名靠前要么是广告（竞价排名），要么是搜索引擎自己的内容？”

付费搜索最早的历史可以追溯到一家叫GoTo（后来改名）的公司，它通过拍卖关键词和收取点击费赚了很多钱。当然，其他搜索引擎也纷纷效仿。

搜索引擎广告 | 图片来源：Main

找不到“搜索结果”并不单单是搜索引擎为了赚钱，在互联网发展过程中，诞生了一个叫搜索引擎优化（SEO）的“职业”。

既然搜索引擎设计了一套排名算法，那么利用“规则”来提高网站在搜索引擎的自然排名应该是可以的。然而，更多的时候，都是反面例子，低权重、低质量的网页试图“欺骗”搜索引擎系统，排名靠前。

由于搜索引擎把入站链接作为排名的主要因素之一，所以从其他网站获取“自然链接”并不是那么容易，有些人干脆建立多个网站，然后将其指向自己想要提高排名的网站——大量的“垃圾链接”就此产生。

又如“人为制造”关键词，让搜索引擎可以抓取，但用户点击后却发现，没有自己想要的信息。在网页的HTML文件中，写上只有搜索引擎“看到”而用户看不到的关键词，以增加关键词密度，增加网页与搜索请求的“相关度”。

提高排名到底有多重要？有报告显示，自然搜索（不含广告）首页结果的点击率为27.6%，前三名占据了总点击量的54.4%，仅有0.63%的人会点击到第二页。

渐渐地，你发现很多网站并没有提供有效的信息但排名却很高，“无稽之谈”等低质量内容在其中横行。

如果说竞价（或人工干预）排名是搜索引擎“选择”的结果，那么搜索范围的缩小就改变了搜索引擎的存在。

每个人都有自己的“搜索引擎”

2008年，淘宝封杀百度爬虫，类似的例子在国内外屡见不鲜，关乎谁才是“流量入口”，关乎商业利益的平衡，对于用户来说，搜索引擎并不好用，这一点在移动互联网时代更加明显。

在数据垄断下，用户只能在各自的应用内完成行为循环，新的互联网内容则被“锁定”在各自的应用中。

想知道某位KOL刚刚说了什么吗？去微博看看。想了解《黑暗荣耀》的结局，去豆瓣看看。搜索引擎只能找到第XX期的《鸡汤语录》。想到“吃川菜”，想找一家价格实惠、性价比高、离自己近的餐厅，最好知道怎么走，而不是“八大川菜你知道哪家？”

图片来源

你知道在哪里通常可以得到更“有针对性”的答案。这时候我们往往“不想要一个事实，也不想要一个客观的结果”。一位知名股权投资机构的合伙人将这种搜索行为解释为“主观搜索”（）。

严格来说，小红书等网站算不上“搜索引擎”，但在我们想要解决生活中的大多数问题时，它们还是很有用的。它们涵盖了新闻、评论、生活经验等动态信息，保证了我们想要获取的“新知识”的时效性。它们更像是对各类公开信息（传统搜索引擎）进行“加工”后，给出的实用建议和详细的操作指南。

小红书搜索丨图片来源小红书

但如果你对“推荐算法”持怀疑态度，“主动搜索”仍不失为一种打破信息茧房、警惕技术的有效方法。

互联网上的内容冗余而复杂，需要耐心去搜索。以下是搜索技巧指南：

“搜索词 site:网站链接”在特定网站中进行搜索

注意：网站后面必须有英文字符：

例如：人工智能站点：，表示在果壳网搜索与人工智能相关的文章

“搜索词 - 排除内容”从搜索结果中排除不需要的内容

注意：搜索词后面必须有一个空格。- 是英文减号，后面不能有空格。

例如：滑盖手机 - 诺基亚，指的是关于滑盖手机的页面，但不包括与诺基亚相关的部分

（类似地，“and”可以用“”表示，“or”可以用“or”表示）

前两种搜索语法也可以混合使用

例如：--site：指与-相关的页面，但不包括淘宝

· “搜索词”搜索的是作品，而不是单词

· “:” 仅显示标题中包含搜索词的结果

注意：“:”是英文字符

例：《三体》动画版 指标题中含有“三体”动画版的内容。

“搜索词：格式后缀”搜索特定格式的文件

注意：“:”是英文字符

例如：简历模板：doc，指的是Word格式的简历模板”

人们的搜索习惯变了，但目的没变，就是缩短提问和回答之间的时间。2012年，“知识图谱”项目诞生，这意味着万事万物都可以形成关系网络。当用户搜索A时，与A“相关”的信息在结果页面以片段形式呈现，直接片段呈现的目的是为了让搜索引擎直接回答用户的问题，而不需要用户点击链接去阅读。

佩奇和布林已被召回参与公司业务（他们曾经编写算法），布林甚至亲自为聊天机器人编写代码。

似乎人们需要一种全新的方式来获取信息，以取代传统的搜索引擎，“就像搜索引擎杀死了黄页一样”。

参考

[1]

[2]

[3]

[4]