第一种方法：.txt方法

搜索引擎默认遵守.txt协议，创建一个.txt文本文件，放在网站根目录下，编辑代码如下：

用户-: *

：/

使用上述代码，您可以告诉搜索引擎不要抓取和索引此网站。使用上述代码时请小心：这将禁止所有搜索引擎访问该网站的任何部分。

如何只禁止百度搜索引擎索引和抓取网页

1.编辑.txt文件，设计标记如下：

用户-：

：/

上述文件将禁止所有来自百度的抓取。

我们来谈谈百度的user-，什么是user-？

百度使用不同的用户：

产品名称对应用户

无线搜索

图片搜索 -

视频搜索 -

新闻搜索-news

百度收藏-favo

百度联盟-cpro

商业搜索广告

网络和其他搜索

可以根据每个产品的不同用户设置不同的爬取规则，下面的实现禁止所有来自百度的爬取，但是允许图片搜索爬取//目录：

用户-：

：/

用户-: -

： //

请注意：-cpro 和 -ads 抓取的网页不会被索引，它们只是执行与客户约定的操作，因此如果您不遵守协议，则需要联系百度解决此问题。

如何只禁止搜索引擎索引和抓取网页，方法如下：

编辑.txt文件并将其标记为：

用户-：

：/

编辑 .txt 文件

搜索引擎默认遵循.txt协议

.txt文件放在网站根目录中。

比如说，当搜索引擎访问一个网站的时候，会先检查该网站的根目录下是否有一个.txt文件，如果搜索引擎找到这个文件百度收录网站平台有哪些，就会根据这个文件的内容来确定其抓取权限的范围。

用户-：

此项的值用于描述搜索引擎的名称。在“.txt”文件中，如果有多条User-，则表示有多个受此协议限制的机器人。对于此文件，必须至少有一个User-。如果此项的值设置为*，则此协议对任何机器人都有效。在“.txt”文件中，只能有一个记录，例如“User-:*”。

：

该项的值用于描述一个你不想被访问的URL，这个URL可以是完整路径，也可以是部分路径。任何以 开头的URL都不会被访问。例如“:/help”不允许搜索引擎同时访问/help.html和/help/.html，而“:/help/”允许访问/help.html但不允许访问/help/.html。如果任何记录为空，则表示允许访问网站的所有部分。“/.txt”文件中必须至少有一条记录。如果“/.txt”为空文件，则该网站对所有搜索引擎开放。

以下是.txt用法的几个示例：

用户-: *

：/

阻止所有搜索引擎访问您网站的所有部分

用户-：

：/

禁止百度索引整个网站

用户-：

：/

禁止收录整个网站

用户-：

：

用户-: *

：/

除禁止索引整个网站的搜索引擎外的所有搜索引擎

用户-：

：

用户-: *

：/

除百度外，所有搜索引擎均禁止索引整个网站

用户-: *

:/css/

： //

阻止所有搜索引擎访问目录

（例如禁止根目录和css）

二、网页代码方法

在网站首页代码之间添加代码，此标签禁止搜索引擎抓取网站和显示网页快照。

在首页代码之间添加此项，可以防止百度搜索引擎抓取网站并显示网页快照。

将其添加到您网站主页的代码之间，以防止 搜索引擎抓取您的网站并显示网页快照。

另外，当我们的需求很奇怪的时候，比如下面这种情况：

1.网站已经添加.txt，在百度上还能搜索到吗？

因为搜索引擎索引数据库的更新需要时间，虽然您已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息可能需要几个月的时间才能清除。另外，请检查您的配置是否正确。如果您的拒绝收录需求非常紧急，您也可以通过投诉平台请求处理。

2. 我希望我的网站内容被百度收录但不保存为快照，我应该怎么做？

遵守互联网meta协议。您可以通过网页meta设置，让百度只索引该网页，但不在搜索结果中显示该网页的快照。就像更新一样，由于搜索引擎索引数据库的更新需要时间，即使您在网页中通过meta禁止百度在搜索结果中显示该网页的快照，如果该网页索引信息已在百度搜索引擎数据库中建立，可能需要两到四周的时间才能上线生效。

希望被百度收录，但是不保存网站快照，以下代码解决：

如果你想禁止所有搜索引擎保存你的网页快照，代码如下：

一些常用的代码组合：

：您可以抓取此页面并继续索引此页面上的其他链接

：请勿抓取此页面，但您可以抓取并索引此页面上的其他链接

：您可以抓取此页面，但不允许抓取和索引此页面上的其他链接

：不要抓取此页面，也不要抓取和索引此页面上的其他链接