网站不收录是常有的事，太多SEO从业者都遇到过这样的问题，不知道从何下手，苦恼不已。在解决网站不收录问题之前，我们应该思考一个问题：“影响网站收录的因素有哪些？”先搞清楚了这个问题，解决收录问题就容易多了。

案例研究

我刚加入环球网校的时候，他们的网站（）已经有将近一年的时间很少被百度收录，我去应聘的时候，CEO知道我有一定的SEO能力，就要求我尽快解决网站不收录的问题。

首先，我刚刚听公司的人告诉我这个网站没有被收录，但是我不知道具体是哪里没有被收录，为什么没有被收录，于是我就开始整理数据，排查问题。

我把网站按照类型分类，分为频道页、列表页、主题页、聚合页、新闻页五大类，然后跟技术人员沟通，把这五大类的URL全部导出给我（新闻页因为很多考试相关的新闻都是时效性的，所以我只导出了30天的数据），然后开始按照不同的类别进行采集查询，最终采集查询的结果如下：

如上图所示，我发现我和公司人员举报的网站没有被收录，具体问题在新闻页面，环球网校的新闻是发布考试信息和资料的，是一篇有一定时效性的文章，按理说这么大的网站应该秒收录才对。

于是，我向相关人员索要了过去7天的网站日志，技术人员给了我原始的网站日志，里面既有爬虫数据，也有用户数据等等，没办法，我只好自己去清理这些数据。

SEO清理网站爬虫日志流程

1、我先按照用户包含进行筛选，只保留包含的数据，这样我就有了百度爬虫的数据；

2、但是百度爬虫数据中有很多假爬虫，我按照反向IP查找的思路，先把所有IP地址拿下来，然后去掉重复的；

3、我得到了600多个独立IP地址，我用一个程序批量识别真假爬虫，最后有82个真正的爬虫IP地址。

4.然后我再对第一步中的所有爬虫数据进行筛选，只保留82个有真实IP地址的百度爬虫，最后得到的数据才是真正的爬虫数据；

5、我在清理后的日志中查询了最近7天发布的URL，最后发现所有新页面在发布后1分钟之内都被爬虫爬取了，可想而知爬取的及时性，这篇文章第二天、第三天又被爬取了。

最后看到爬虫的行为数据表现很好，所以爬取应该没有什么问题。

不过在分析日志之前，我还同步了一个需求给技术、产品、运维三个部门，想知道一年前网站突然不收录的大概时间点，他们做了哪些修改。分析完日志的那天晚上，技术大佬来找我说，他记得那年网站被攻击过，注入了很多垃圾数据，导致网站收录异常。

我可能知道问题就在这里，但是为了更全面地审视问题，我还是要求他们按照要求把之前做的一些修改同步给我。

第二天早上，我开始对网站的攻击问题和技术进行彻底的排查，查看网站被注入的垃圾信息是否已经完全清除，最后确认垃圾信息已经完全清除，404状态码和404错误页面已经正确返回。

然后我就怀疑百度一直没有纠正我们的状态，我们被攻击的时候没有收录我们的网站也是很正常的，毕竟他们检测到了我们网站的风险，一年过去了还是一样，肯定是百度的问题。我通过百度的反馈中心详细解释了问题的整个过程，百度的技术人员也在调查。我等了一个星期也没看到回复，其他部门也把之前的一些调整和变化说给了我，我也确认了大家当时的做法是正确的。

于是，我主动联系了百度站长平台的朋友，希望他们能够尽快处理，找出问题所在。

但最后我得出的结论是百度没发现任何问题，据说好几个部门的技术人员都对我的问题进行了筛查，没有发现任何问题。好吧，百度的兄弟们还是很给我面子的，帮我跟进需求的他们很给力，还是要靠自己，毕竟这是我入职CEO后的第一个托付，一定要搞定。

我也联系了我们的编辑，询问和检查了文章的质量。我们一直都是按部就班地发布信息，就像几年前一样，没有任何变化。时效性、可读性、需求的满足性都可以保证。到底哪里出了问题？

经过思考，我意识到问题的本质从网站被攻击的时候就开始了。如果百度真的没有反应，我就得让百度重新计算我的新闻页面，重新评估这一类页面。于是我就有了重新设计新闻页面的想法。

我开始和产品团队沟通，但他们很忙，我只好自己牵头开始制作原型。

通过重新设计页面，丰富内链策略，增加多项定制化的广告场景，经过20多天的努力，新页面终于上线了。

由于该网站每天发布的新闻非常多，大概有几百条，所以我写了一个收录查询的程序，这个程序每天会自动帮我查看收录的新闻，然后以附件的形式发送到我的邮箱让我查看。

新版新闻页上线第四天，采集率突然从每天1-5条飙升到100多条，之前采集率一直在0.00左右，现在采集到40%多，第二天82%，第三天79%，第四天85%，连续一周都保持在80%左右，第一周突然达到97%，秒采集，中间有几天有波动，但总体都在95%左右。

至此，我认为收录问题已经彻底解决，我的很多编辑同事也早就知道了这一点。如今几年过去了，我策划的新闻页面还在，收录情况一直不错。

下图是我刚刚查看的全球网校最近一天的收录情况：

还有10分钟前的，15分钟前的，你去查一下的话，总数也有几百条。

想法总结

1. 确定网站未收录的页面类型。正如案例中提到的，我最终确定了新闻页面。

2、思考一下在网站未被收录的这段时间内，那些有权限修改网站的人做了什么，这些修改是否可能是网站未被收录的原因；

3、分析网站日志，查看未收录的网站类别是否被爬取，如果没有被爬取则是爬取问题，如果被爬取则说明没有问题。

4、当网站改动和抓取没有问题时，在站长工具反馈中提供详细的反馈；

5、在提供反馈的同时，还可以对该类模板页面进行适当的调整，比如增加链接入口，增加网页的丰富度，增加新闻页面原创比例，文章内容质量等。

6.若还是无法收录，请对当前该类型模板页面进行大改版，重新构建页面尝试。

我所在的公司和我帮助解决网站不被收录问题已经不下15次了，我一直都是用这个思路，过程中有什么问题可以在下方评论区提问，我会尽快回复的~

现在有 + 个朋友关注我