目录

~~~~~~~~~有监督的文本关键词提取算法需要较高的人力成本，因此现有的文本关键词提取主要采用适用性较强的无监督关键词提取。文本关键词提取流程如下：

图1 无监督文本关键词提取流程图

~~~~~~~~无监督关键词提取算法可以分为三类：基于统计特征的关键词提取、基于词图模型的关键词提取、基于主题模型的关键词提取。

NO.1.文本关键词提取算法基于统计特征的关键词提取算法

基于统计特征的关键词提取算法的思想是利用文档中词语的统计信息从文档中提取关键词。通常先对文本进行预处理，得到候选词集合，然后通过特征值量化从候选集合中获取关键词。基于统计特征的关键词提取方法的关键在于采用什么样的特征值量化指标方法。常用的有三种类型：

1.基于词权重的特征量化

基于词语权重的特征量化主要包括词性、词频、逆向文档频率、相对词频、词长等。

2.基于word文档位置的特征量化

这种特征量化方法是基于这样的假设：文章中不同位置的句子对文档的重要性是不同的，通常文章的前N个词、后N个词、段落的开头和结尾、标题、引言等都是具有代表性的，这些词可以作为关键词来表达整个主题。

3.基于词语联想信息的特征量化

词关联信息是指词与词、词与文档之间的关联程度，包括互信息、命中值、贡献度、依赖性、TF-IDF值等。

下面介绍几个常用的特征值量化指标。

词性

词性是通过分词、语法分析得到的结果。现有的关键词中，绝大多数是名词或者动名词。一般来说，名词比其他词性更能表达文章的中心思想。但词性作为特征量化指标，一般是与其他指标结合使用。

词频

词频表示某个词在文本中出现的频率。一般来说，我们认为某个词在文本中出现的频率越高，就越有可能是文章的核心词。词频只是统计某个词在文本中出现的次数。但单纯依靠词频得到的关键词具有很大的不确定性。对于较长的文本，这种方法会有很多噪音。

地点信息

一般来说，一个单词出现的位置对于这个单词来说具有很大的价值。例如，标题和摘要是作者对文章主旨的概括，因此出现在这些地方的单词具有代表性，也更容易成为关键词。但由于每个作者的习惯和写作风格不同，关键句子出现的位置也会有所不同，所以这也是一种非常广泛的获取关键词的方法，一般不单独使用。

相互信息

互信息是信息论中的概念，是变量之间相互依赖程度的度量。互信息并不局限于实值随机变量，它具有更广泛的适用性，决定了联合分布 p(X,Y) 与分解边际分布 p(X)p(Y) 乘积之间的相似性。互信息的计算公式如下：

其中p(x,y)是X和Y的联合概率分布函数，p(x)和p(y)分别是X和Y的边缘概率分布函数。

当使用互信息作为关键词提取的特征量化时，首先利用文本的正文和标题构建PAT树，然后计算左右字符串的互信息。

词跨度

词跨度是指文本中某个单词或短语第一次出现到最后一次出现的距离。词跨度越大，表示该单词对文本越重要，越能体现文本的主题。词跨度的计算公式如下：

其中，表示单词i在文本中的最后一个位置，表示单词i在文本中第一个位置，sum表示文本中总的单词数。

采用词跨度作为提取关键词的方法是因为现实中文本中总是存在很多噪音（指不是关键词的词），而使用词跨度可以减少这些噪音。

TF-IDF值

单词的TF指的是该单词在一篇文档中出现的频率。假设一个单词w在一篇文本中出现了m次，该文本中单词总数为n，则单词的IDF来自于语料库，表示该单词在整个语料库中出现的频率。假设整个语料库中有M篇包含单词w的文本，语料库中有N篇文本，则

由此我们可以得到单词w的TF-IDF值：

TF-IDF的优点是实现简单，比较容易理解。但是该算法在提取关键词时的缺点也很明显，它对语料的依赖性很强，需要选取与正在处理的文本相匹配的、质量较高的语料进行训练。另外，对于IDF来说，它是一种加权的方法，会试图抑制噪音，倾向于偏向文本中出现频率较低的词，这使得TF-IDF算法的准确性不高。TF-IDF算法的另一个缺点是不能体现词的位置信息。在提取关键词时，词的位置信息，比如文本的标题、文本的第一句、最后一句，都包含着更重要的信息，应该赋予更高的权重。

基于统计特征的关键词提取算法，通过上述一些特征量化指标，对关键词进行排序，得到TopK个词作为关键词。

基于统计特征的关键词关键点在于特征量化指标的计算，不同的量化指标计算结果也有所不同，同时不同的量化指标也有各自的优缺点，实际应用中通常会结合不同的量化指标，得出Topk个词作为关键词。

NO.2.文本关键词提取算法基于词图模型的关键词提取算法

基于词图模型的关键词抽取首先构建文档的语言网络图，然后对该语言进行网络图分析，在这个图上寻找重要的单词或短语，这些短语就是该文档的关键词。语言网络图中的节点基本都是单词。根据单词链接方式的不同，语言网络的主要形式分为四种：共现网络图、语法网络图、语义网络图和其他网络图。

在构建语言网络图的过程中，将预处理后的单词作为节点，将单词之间的关系作为边。在语言网络图中，边之间的权重一般用单词之间的相关性来表示。在使用语言网络图获取关键词时，需要评估每个节点的重要性，然后根据重要性对节点进行排序，选取TopK个节点所代表的单词作为关键词。节点重要性的计算有多种方法。

1. 综合特征法

综合特征法又称社会网络中心性分析法。该方法的核心思想是节点的重要性等于节点的重要性，以不破坏网络完整性为前提。该方法从网络的局部性质和全局性质两个角度定量分析网络结构的拓扑性质。常用的定量计算方法有以下几种。

接近

节点接近度是指一个节点到其他节点的最短路径之和的倒数，表示信息传播的紧密程度。计算公式为：

特征向量

特征向量的思想是：一个节点的中心化测试值是由周围所有连通节点共同决定的，即一个节点的中心化指数应该等于其相邻节点中心化指数的线性叠加关键词提取工具，代表通过值高的相邻节点所获得的间接影响力。

聚类系数

节点的聚类系数是其相邻节点之间的连接数与它们之间可能的链接数之比。它是用来描述图的顶点之间的聚类程度的系数。

平均最短路径

节点的平均最短路径又称为接近中心性，是节点所有最短路径之和的平均值。它表示节点在传播信息时对其他节点的依赖程度。一个节点与其他节点的距离越近，它在传播信息时需要的依赖就越少。如果一个节点到网络中的每个点的距离都很短，那么这个点就不会受到其他节点的制约。

由于各个算法侧重的方向不同，实际问题中选择的量化分析方法也会有所不同。同时，对于关键词提取，也可以结合上一节提出的统计方法得到的词权重，比如词性等，构建词语搭配网络，然后再利用上述方法获取关键词。

2.系统科学方法

系统科学方法中的中心性分析的思想是，一个节点的重要性等于删除该节点后对整个语言网络图的破坏程度。删除一个重要的节点会改变网络的连通性。如果我们删除网络图中的一个节点，该图的某些特定特征就会发生变化。我们可以根据特征变化的大小得到该节点的重要性，从而筛选节点。

3. 随机游走方法

随机游走算法是网络图中非常著名的算法，它从给定的图和一个起点随机地选择邻居节点并移动到邻居节点，然后以当前节点为起点，迭代上述过程。

随机游走算法的一个著名应用就是大名鼎鼎的算法，该算法是整个搜索的核心算法，是一种通过网页间的超链接来计算网页重要性的技术，其关键思想就是重要性迁移。在关键词提取领域，等人提出的算法在文本关键词提取领域借鉴了这一思想。

该算法把整个互联网看作一个有向图，其中网页是节点，网页之间的链接是边。根据重要性迁移的思想，如果一个大型网站 A 包含指向网页 B 的超链接，那么网页 B 的重要性排序会根据 A 的重要性而提升。网页重要性迁移的思想如下图所示：

图2 简单描述（摘自论文）

在算法中，最重要的是计算初始网页重要性（PR值），因为我们无法预测上图中网页A的重要性。然而，原论文给出了一个迭代的方法来计算这个重要性。论文指出，计算矩阵特征值的幂法与矩阵的初始值无关。那么，我们可以随机地给每个网页一个初始值，然后迭代得到收敛值，而收敛值与初始值无关。

网页i的PR值计算如下：

其中d为阻尼系数，通常取0.85。为指向网页i的网页集合。为网页j中链接指向的集合，为集合中元素的数量。

在构建图时，将节点由网页改为句子，并为节点之间的边引入权重，权重表示两个句子之间的相似度，计算公式如下：

式中的 为图中节点和边的权重，其他符号与公式相同。

该算法除了能从文本中提取关键词外，还能提取文本摘要，效果也​​不错，但计算复杂度很高，应用并不广泛。

NO.3.文本关键词提取算法基于主题模型的关键词提取

基于主题的关键词提取算法主要利用主题模型中主题的分布特性来提取关键词。算法步骤如下：

1.获取候选关键词

从文章中获取候选关键词。即将文本分词，然后根据词性选取候选关键词。

2. 语料库学习

主题模型是基于大规模预测学习得到的。

3.计算文章的主题划分

根据得到的隐性主题模型，计算文章的主题分布和候选关键词分布。

4. 排序

计算文档与候选关键词的主题相似度并排序，选取前n个词作为关键词。

算法的关键在于主题模型的构建，主题模型是一个文档生成模型，对于一篇文章，我们的思路是先确定几个主题，然后根据主题想出一些词语来描述这些主题，再根据语法规则把这些词语组合成句子、段落，最终生成一篇文章。

主题模型也是基于这个思想，它认为文档是主题的混合分布，主题是词的概率分布，pLSA模型就是第一个基于这个思想建立的模型。同样的，如果我们反过来想，我们找到文档的主题，那么主题中的代表词就能代表文档的核心含义，也就是文档的关键词。

pLSA模型认为，一篇文档中每一个单词都是以一定的概率从某个主题中选取的，然后这个单词又以一定的概率从这个主题中选取出来，这个单词的计算公式为：

一些贝叶斯研究者对pLSA模型进行了改进，他们认为一篇文章对应一个主题的概率，一个主题对应一个单词的概率并不是一定的，也服从一定的概率，因此发展出了现阶段常用的主题模型——LDA主题模型。

LDA 是 2003 年由 提出的，LDA 利用词袋模型简化了问题的复杂性，在 LDA 模型中，每篇文档都是一些主题的概率分布，每个主题又是很多个单词的概率分布，同时，主题的概率分布和单词的概率分布都不是一定的，而且这些分布也服从先验分布。

文档生成模型可以用下图来表示：

其中和是先验分布的超参数，是第k个主题下所有单词的分布，是文档的主题分布，w是文档的单词，z是w对应的主题。

图 3. 论文中 Blei 的图模型

DA挖掘的是文本的深层语义，也就是文本的主题。用文本的主题来表示文本也在一定程度上降低了文本向量的维度。很多人用这种方法来对文本进行分类，取得了不错的效果。具体的LDA算法可以参考《LDA主题模型详解》。

LDA关键词提取算法利用文档隐含的语义信息来提取关键词，但是主题模型提取的关键词比较宽泛，不能很好地反映文档主题；另外LDA模型的时间复杂度较高，需要大量的实际训练。

NO.4. 文本关键词提取算法阶段描述

目前，文本关键词提取在基于文本的搜索、推荐、数据挖掘等领域有着广泛的应用。同时，在实际应用中，由于应用环境的复杂性，同一种文本关键词提取方法对于不同类型的文本，如长文本、短文本，可能得出的结果并不相同。因此在实际应用中，针对不同的条件和环境，所采用的算法会有所不同，没有一种算法在所有环境下都有很好的效果。

相比于上面提到的几种算法，一些组合算法在工程上被广泛使用以弥补单一算法的不足，比如将TF-IDF算法与算法相结合，或者将TF-IDF与词性相结合来获取关键词。同时工程化也很大程度上依赖于文本的预处理和文本分词的准确率，文本中的错别字、变形词等信息需要在预处理阶段解决。分词算法的选择、未登录词、歧义词的识别在一定程度上都会对关键词提取产生很大的影响。

关键词抽取是一个看似简单但在实际应用中却非常困难的任务，大观数据在现有算法的基础上进行了大量的工程优化，并取得了不错的效果。

参考：