UA属性：UA是user-的缩写，是http协议中的一个属性，代表终端的身份，告诉服务器我是谁，我做了什么，然后服务器就可以根据不同的身份给出不同的反馈结果。

协议：.txt是搜索引擎访问网站时访问的第一个文件，用于决定哪些文件允许抓取，哪些文件禁止抓取。.txt必须放在网站根目录下，文件名必须小写。.txt详细写法请参考。百度严格遵循协议。另外，还支持在网页内容中添加名为、、、等指令的meta标签。

网站页面的抓取是按照上述网站设定的协议进行的，但不可能对所有网站一视同仁。会根据网站的实际情况确定一个抓取配额，每天定量地抓取网站内容，也就是我们常说的抓取频率。那么百度搜索引擎是通过什么指标来确定一个网站的抓取频率的呢？主要有四个指标：

1.网站更新频率：更新快，访客多，更新慢，访客少，直接影响访问频率

2、网站更新质量：更新频率增加了，但只是吸引更多的关注而已，对质量的要求比较严格，如果网站每天更新大量的内容，却被判定为低质量页面，那还是没有意义的。

3. 连通性：网站应安全、稳定、可访问。经常被拒之门外可不是什么好事。

4、网站评分：百度搜索引擎对每个网站都会有一个评分，并且这个评分会根据网站的情况而变化。它是百度搜索引擎给网站的一个基础评分（并非外界所说的百度权重），是百度内部非常机密的数据。网站评分从来不会单独使用，会和其他因素、阈值一起影响网站的抓取和排名。

抓取频率间接决定了网站有多少页面可能被收录到数据库中。这么重要的一个数值，如果不符合站长的期望，该如何调整呢？百度站长平台提供了抓取频率工具（//），经过多次升级，除了提供抓取统计功能外，该工具还提供了“频率调整”功能，站长可以根据实际情况向百度站长平台提出增加或减少访问量的请求，该工具会根据站长的意愿和实际情况进行调整。

有一些网页内容质量较高，用户可以正常访问，但无法被正常访问和抓取，导致搜索结果覆盖率不足，这对百度搜索引擎和网站来说都是一种损失。百度将这种情况称为“抓取异常”。对于内容量大而无法被正常抓取的网站，百度搜索引擎会认为该网站在用户体验上存在缺陷，从而降低该网站的评价，在抓取、索引、排序等方面都会受到一定程度的负面影响，最终影响该网站从百度获得的流量。

以下是一些常见的抓取异常的原因：

1. 服务器连接异常

服务器连接不正常有两种情况：一种是网站不稳定，出现暂时无法连接到您网站的服务器的情况；另一种就是您网站的服务器根本就无法连接。

服务器连接异常的原因通常是您的网站服务器规模过大，超负荷运行，也可能是您的网站运行不正常，请检查网站的 Web 服务器（如 IIS）是否安装并正常运行，使用浏览器检查主要页面是否可以正常访问，您的网站和主机也可能会被屏蔽，您需要检查网站和主机的防火墙。

2、网络运营商异常：网络运营商分为电信和联通两种，您的网站无法通过电信或联通访问，出现这种情况需要联系网络运营商，或者购买双线服务的空间，或者购买CDN服务。

3. DNS异常：当您的网站IP地址无法解析时，就会出现DNS异常百度收录网站平台有哪些，可能是您的网站IP地址错误，或者域名服务商屏蔽了，请使用或host检查您的网站IP地址是否正确，是否可解析，如果不正确或者无法解析，请联系域名注册商更新您的IP地址。

4、IP封锁：IP封锁就是限制网络出口IP地址，禁止该IP段的用户访问内容。这里特指封锁。只有当您不想访问您的网站时才需要进行此设置。如果您想访问您的网站，请检查相关设置中是否被误添加。也有可能是您的网站所在的空间服务商封锁了百度的IP，这种情况下您需要联系服务商更改设置。

5、UA阻断：UA代表User （User-），服务器通过UA来识别访客身份，当网站对指定UA的访问返回异常页面（如403、500）或者跳转到其他页面时，就是UA阻断。只有当你的网站不想被访问时才需要进行此项设置，如果希望被访问到你的网站，请在相关设置中检查是否有UA，并及时修改。

6、死链接：一个页面无效，不能给用户提供任何有价值的信息，即为死链接，包括协议死链接和内容死链接：

协议死链接：页面的TCP协议状态/HTTP协议状态明显提示的死链接，如404、403、503状态等。

内容死链接：服务器返回的状态正常，但内容已被改为不存在、已被删除、或者需要权限等与原内容无关的信息页面。

对于断链，我们建议网站使用协议断链，并通过百度站长平台-断链工具提交给百度，这样百度可以更快的发现断链，减少断链对用户和搜索引擎的负面影响。

7、异常跳转：将网络请求重定向到另一个位置称为跳转。异常跳转指以下几种情况：

1）当前页面为无效页面（内容已被删除、链接失效等），直接跳转上一级目录或首页。百度建议站长删除无效页面的入口超链接

2）跳转到错误或无效页面

注意：对于长期重定向到其他域名，例如网站更换域名时，百度建议使用301重定向协议进行设置。

8.其他异常：

1）百度异常：网页响应百度返回不同于正常内容的内容时的行为。

2）百度UA异常：网页返回给百度UA与页面原始内容不同的内容。

3）JS跳转异常：网页加载了百度无法识别的JS跳转代码，导致用户通过搜索结果进入页面后进行跳转。

4）压力过大导致的偶发性封禁：百度会根据网站大小、流量等信息自动设置合理的抓取压力，但在压力控制异常等异常情况下，服务器会根据自身负载进行保护性偶发性封禁。此种情况下，请在返回码中返回 503（代表“ ”），以便您过一段时间再尝试抓取此链接。如果网站空闲，则将成功抓取。

好，上面说了影响正常爬取的原因，现在说说一些判断原则。在建库之前，页面会进行初步的内容分析和链接分析，内容分析会决定这个网页是否需要收录，链接分析会发现更多的网页，然后再爬取更多的网页-分析-是否建库&发现新的链接。理论上来说，新页面上所有能“看到”的链接都会被爬回来。那么，面对这么多的新链接，判断哪个更重要的依据是什么呢？两个方面：

一、对用户的价值：

1. 独特的内容，百度搜索引擎喜欢的内容

2、突出网页主体。不要让网页主体不清晰，被搜索引擎误判为一个简短的空白页而无法抓取。

3.内容丰富

4. 适当的广告

二、链接重要性：

1. 目录层次结构-浅优先级

2. 网站内链接的受欢迎程度

抓取的网页数量并不是最重要的，重要的是有多少网页被收录，也就是我们常说的“建库”。众所周知，搜索引擎的索引是分层次的，质量高的网页会被分到重要索引，一般的网页会留在普通库，质量差的网页则会被分到低级库作为补充材料。目前，仅调用重要索引就能满足60%的搜索需求，这也就解释了为什么有些网站收录页面数量非常高，但流量却不理想。

那么，哪些网页可以进入优质索引库呢？其实总的原则就一条：对用户有价值。这包括但不限于：

1、及时性和价值性页面：在这里，及时性和价值性是并行不悖、缺一不可的，有些网站为了制作及时性内容页面，做了大量的采集工作，结果留下了一堆毫无价值的页面，这是百度所不愿意看到的。

2、内容优质的主题页：主题页的内容不一定要完全原创，可以很好地整合各方内容，或者加入一些新鲜的内容，比如观点、评论等，为用户提供更丰富、更全面的内容。

3、高价值原创内容页面：百度对原创的定义是花费一定的成本，经过大量的经验积累和提炼而形成的文章，千万不要问我们伪原创是不是原创。

4. 重要的个人页面：这里只是举个例子，科比在新浪微博上有账号，虽然他更新不多，但对百度来说，这个页面还是非常重要的。

上述优质网页已经收录到索引库，但实际上，互联网上绝大多数网站根本就没有被百度收录。并不是百度没有发现，而是在建库前的筛选阶段就被过滤掉了。那么在初期阶段被过滤掉的网页有哪些呢：

1、内容重复的网页：百度没有必要索引互联网上已经存在的内容。

2. 网页主要内容空白且简短

1）部分内容使用了百度无法解析的技术，如JS、AJAX等，虽然用户可以看到丰富的内容，但还是会被搜索引擎抛弃

2）加载速度过慢的网页也可能被视为空页面或短页面。请注意，广告加载时间包含在网页的整体加载时间中。

3）很多主体不明确的网页即便被重新爬取也会在这个阶段被抛弃。

3. 一些作弊网页