搜索引擎的工作过程非常复杂，今天就跟大家分享一下我所理解的百度蜘蛛是如何实现网页收录的。

搜索引擎的工作大致可以分为四个过程。

1.蜘蛛爬行、抓取。

2.信息过滤。

3、建立网页关键词索引。

4.用户搜索输出结果。

蜘蛛爬行和抓取

当百度蜘蛛来到一个页面，它会顺着页面上的链接，从这个页面爬到下一个页面，像一个递归过程，年复一年地这样做，不知疲倦。例如，当蜘蛛来到我的博客首页时，它会先读取根目录中的.txt文件。如果搜索引擎没有停止爬行，蜘蛛就会开始逐个爬行网页上的链接。例如，我置顶的文章“SEO概述|什么是SEO以及SEO做什么”，引擎会以多进程的方式来到这篇文章所在的网页上爬行信息，如此循环往复，永无休止。

信息过滤

为了避免重复爬取和抓取URL，搜索引擎会有一个已爬取和未爬取地址的数据库。如果你有新网站，可以去百度官网提交网站的URL，引擎会记录下来并归类为未爬取的URL，然后蜘蛛会根据这个表从数据库中提取URL，访问并抓取页面。

蜘蛛并不会索引所有页面，它们必须经过严格的检测。蜘蛛在抓取网页内容时，会进行一定程度的重复内容检测。如果该网页所在网站权重较低，且大部分文章为抄袭，那么蜘蛛很有可能会对你的网站产生反感，停止抓取，不收录你的网站。

为网页创建关键字索引

当蜘蛛爬行一个网页时，它会先对网页的文字内容进行分析，通过分词技术，将网页内容简化为关键词，然后制作一个关键词与对应URL的表格，从而建立索引。

索引分为正向索引和反向索引，正向索引是关键词对应的网页内容，反向索引是关键词对应的网页信息。

输出

当用户搜索某个关键词时，会通过之前建立的索引表进行关键词匹配百度收录的网站，并通过反向索引表找到该关键词对应的页面，引擎计算出该网页的综合得分后，根据网页的得分情况决定该网页的排名。

相关建议：

网站优化 百度蜘蛛喜欢什么？

如何查看IP是否是百度蜘蛛IP？如何使用命令