<meta http-equiv="expires" content="Fri, 12 Jan 2001 18:18:18 GMT">

<meta http-equiv="Pragma" content="no-cache">

<meta http-equiv="Refresh" content="2；URL=http://www.juejin.com">

<meta http-equiv="Set-Cookie" content="cookievalue=xxx; expires=Friday, 10-Nov-2023 18:18:18 GMT；path=/">

<meta http-equiv="Window-target" content="_top">

<meta http-equiv="content-Type" content="text/html; charset=gb2312">

（3）OG 标签

它是在2010年F8开发者大会上公布的一个网页元信息（Meta）标记协议，属于Meta Tag的范畴，是为了社交分享而创建的Meta标签。为了加快信息内容的流通，早年大力推广该协议。现在几乎所有的主流社交媒体网站都支持OG协议。包括、、和+都能识别OG协议。虽然也有自己的协议，但是只要你发现网页没有使用自己的协议，就会改用OG协议。国内的百度、360搜索、微博、微信、人人网等也都支持该协议。

...

OG在社交媒体上有丰富的内容展示，例如在社交平台上分享网址链接后，链接会显示缩略图、标题、描述等，增加访客点击的概率，左图有OG标签，右图没有。

.png

图片来自：/p/[2]，文章也对OG做了很好的介绍

标签属性可以在官网找到：ogp.me/[3]

3.语义标签H系列标签

H1到H6一共有6个（重要性从高到低），在页面中非常重要，所以不能乱用，一定要按照内容的重要性来排列，而且最后不能有空隙，比如直接从H1到H6，就到了H3，错过了H2；另外，H1标签最好只有一个，具体可以上网搜索。

img 标签

img 的 alt 属性为搜索引擎提供了替代文本。使用 alt 标签优化图片对搜索引擎排名有积极影响。此外，当网络速度较差导致图片文件无法加载时，alt 中的文字将显示在图片的位置。word

其他

还有新的语义标签如Nav等，可以帮助爬​​虫更好的获取页面内容。

4.（站点地图）

站点地图通常是XML格式的文件百度容易收录的平台，放在网站的根目录下，有些网站甚至可以通过URL /.xml直接访问（手动狗头）。文件中包含了各个网页的链接（loc）、更新时间（ ）、权重（ ）等，权重从0到1，依次递增，一般首页设为1，然后其他依次递减。

.jpg

.png

搜索引擎通过查看站点地图可以快速获取网站的整体结构，并重点索引重要的页面，这对于提高搜索引擎的抓取效率和索引速度非常有帮助。

5. 文档

.txt 是给爬虫下达指令的文本文件，让爬虫合理地抓取网站上的资源，并且可以屏蔽网站上不重要的内容和模块，从而抓取更多有价值、优质的内容和网页，提高网站排名。大部分网站都可以通过 URL/.txt 来获取，我们以掘金为例：

.png6. 内部链接和外部链接 内部链接

在自己的网站中，可以将各个内容页通过链接的方式相互链接起来，这样可以提高爬虫以及部分搜索引擎对网站的抓取和收录效率；另外，为了避免内链带来的不良影响，网站在进行更新时，一定要注意定期清理死链接、断开链接，让爬虫更容易沿着链接进行爬行，取得更好的收录效果。

外部链接

通过在其他高流量的网站上放置自己的链接，相比内部链接的运营，外部链接可以实现网络之间的信息共享，不再使我们的网站内容孤立，并能快速提升网站的知名度。访问量和搜索排名的提升，对于一个新成立的网站来说是关键。但对于后期的优化来说，外部链接的发布必须以质为本，主要还是数量。

<a href="login.html" rel="nofollow">登录a>
<a href="login.html" rel="external nofollow">登录a>

7. 数据结构化标记

结构化数据标记不会直接帮助提高搜索排名，但它可以带来许多好处：

（1）丰富搜索结果

例如搜索“掘金”时，红色的框就是结构化标记的结果，从框中可以更好地了解网站的内容，而且占据的空间较大，也有助于吸引用户注意力。

.png （2）进入知识图谱

进入知识图谱最直接的结果就是有了知识面板，可以提供更高的品牌知名度和权威性，如下图右侧红框所示：

.png (3) 支持语义搜索

关注搜索问题背后的含义，而不是传统的关键字匹配。当你搜索类似下面的模糊内容时，它会尝试以这种方式返回合适的结果：

（4）体现EA-T

E-AT 代表专业性、权威性和可信度。E-AT 是 算法的一部分，并被写入 搜索质量评估指南[4]。

结构化数据格式

结构化数据有三种形式：JSON-LD和RDFa。我一直用的是JSON-LD，如下：

"application/ld+json">
{
  "@context": "https://schema.org/",
  "@type": "Organization",
  "name": "Ahrefs",
  "url": "https://ahrefs.com/",
  "description": "Ahrefs is a software company that develops online SEO tools and free educational materials for marketing professionals.",
  "email": "support@ahrefs.com"
}
</script>

尖端

此代码可以放在HTML部分的任何位置。更多JSON-LD样式请参考官方[5]

8.面包屑导航

告诉爬虫当前所处的位置，并提供爬取路径的指引，让其能够更快的了解网站的整体结构，在爬取网页时，也能清晰的知道网页的层级和分类指标，有助于提高搜索结果的排名。另外，设置面包屑后，网站还会在搜索结果页面呈现URL路径，因此可以及时在面包屑的名称中添加关键词，增加用户点击率

优化用户体验，让用户清楚知道自己的位置，更方便筛选自己需要的信息

.png9. 服务器端渲染（SSR）

爬虫只会爬取源代码，并不会执行网站的Js脚本。使用Vue或者类似框架之后，页面的大部分DOM元素都是在客户端根据js动态生成的，这大大减少了爬虫可以抓取和分析的内容。另外，浏览器爬虫不会等我们的数据完成后才去爬取我们的页面数据。服务端渲染返回给客户端的是获取了异步数据并执行了Js脚本的最终HTML，在网络抓取过程中是可以捕捉到的。而要获取完整的页面信息，就需要进行SSR渲染。

如果项目一开始就知道要做SEO，建议使用比较成熟的SSR框架

基于 Vue[6]

基于[7]

如果项目已经完成或者只想优化部分页面，建议使用一些插件来实现，比如-spa-[8]、vue--(for Vue)[9]

提示：爬虫不会抓取内容，因此尽量避免使用

10. 网站地址

与产品关键词或公司名称高度相关的域名可以有效提高网站的SEO排名，例如下图中红色框框，当搜索关键词与域名地址匹配时，就会被高亮显示。

各个页面的路径地址不宜过长，且不要含有汉字，否则影响收录。

由于网站改版或者其他因素，部分链接地址可能会失效，此时可以通过301重定向到新的页面，尽量避免过多的断链（404页面），断链过多可能会让搜索引擎认为该网站不靠谱，影响网站的排名和流量。

下面两个链接都是百度页面，这种同一个页面有多个URL的情况就是URL规范化的问题，不管是对搜索引擎还是网站来说，同一个页面有多个URL都会浪费抓取资源，而且如果多个URL的内容相同或者高度相似，就有可能被认为网站重复页面过多，影响收录甚至降低权威性，当一个页面有多个URL时，会分散页面权重，降低页面的URL规范化问题，搜索引擎会自动判断，选择一个被认为是标准的页面进行索引。

解决方案：通过在非规范版本的 HTML 页面中添加 rel="" 链接来指定规范 URL。

    
    <link rel="canonical" href="http://baidu.com">

更详细的使用方法请参考/p/[12]

11. 网站性能

网站打开速度越快，识别效果越好，否则爬虫会认为网站不够人性化，降低爬虫效率，此时就要考虑压缩文件大小等性能优化。