下拉神器是一款专业的下拉词平台,提供各种下拉功能:百度下拉丶360搜索下拉丶必应搜索下拉丶哔哩哔哩下拉丶抖音下拉等等,里面还有批量做词教程技术,可以一次性做10-50个词,省心高效!批量做词,批量出词,可以实现霸屏效果!
有的客户想删除下拉,但是百度不受理,就可以使用批量做词霸屏技术,实现把那些负面信息顶下去,顶掉的效果=删除效果!欢迎您前来使用!新手不懂使用,请多看2遍视频教程哦!下拉神器100%有效果的!
给大家看一个下拉神器介绍的视频,看完后,点击下面的按钮进入”下拉神器“
欢迎使用下拉神器,下拉行业老品牌,如果下拉神器都不好使,整个行业其他平台一样不好使,但是大家一定要多学习多看教程,先学会做词出词的技巧!
下一篇文章内容预览:
该目录下除了.md项目默认描述文件外,还有两个文件,分别是数据文件.txt和程序源代码文件demo--。
口吃分词
我们使用的关键词提取工具是结巴分词。
之前在《如何使用它进行中文分词?》一文中我们用过这个工具对中文句子进行分词,这次我们用到它的另一个功能,即关键词提取。
请进入终端关键词提取工具,使用cd命令进入解压后的文件夹demo---,输入以下命令:
pip install jieba
OK360搜索下拉框【64xl.com最好用的下拉平台】,结巴分词的另一项功能——关键词提取,详细步骤及使用方法,打包工具已经准备好了,现在我们来执行一下
jupyter notebook
进入笔记本环境。
.png
到此,环境已经准备好了,下面来介绍一下本文所用到的中文文本数据。
数据
一开始,我很担心找不到现成的中文文本。
互联网上有大量中文文本。
但我不确定拿来演示会不会有版权问题,如果拿一个好作品来分析,别人可能会问“你从哪里弄来的这个电子版?”
如果此事再次提起诉讼,我将无法为自己辩护。
后来我意识到我这样做纯粹是自找麻烦——我为什么要找别人的文本?难道我不能用我自己的文本吗?
一年来,我撰写了90余篇文章,总字数27万多字。
.png
我特意选择了一个非技术性的,以避免提取全是命令的关键字。
我选的是去年的文章《关于网约车司机的两三件事》。
.png
这篇文章讲述了一些有趣的小故事。

我从网页中提取文本并将其存储在.txt 中。
小心,这是一个很容易掉入陷阱的地方。在暑假的一次教学工作坊中,有几位学生因为从网上提取中文文本时遇到问题而陷入了长时间的困境。
这是因为中文与英文不同,存在编码问题,不同的系统默认编码不同,不同的版本接受的编码也不同,你从网上下载的文本文件也可能与你系统的编码不一致。
.png
不管怎样,这些因素都有可能导致你打开的文本充满难以理解的乱码。
因此,使用中文文本数据的正确方法是在其中创建一个文本文件。
.png
然后会出现下面的空白文件。
.png
使用任何可以正常显示的编辑器打开从其他地方下载的文本,然后复制所有内容并粘贴到这个空白文本文件中,以避免出现编码错误。
避免这个陷阱可以为你省去很多不必要的麻烦。
好了,现在你知道了这个技巧,你可以开心地提取关键字了。
实施
回到主界面,点击demo--,就可以看到源代码了。
.png
是的,你没看错,仅仅通过这四句简短的句子,我们就可以通过两种不同的方式(TF-idf 和 )完成关键词提取。
本节我们先讲解一下执行步骤,后面会介绍不同关键词提取方法的原理。
首先,我们从分词分析工具箱中导入所有的关键词提取函数。
from jieba.analyse import *
在相应的语句上,按下+组合键,执行该语句并获取结果。
接下来,让我们打开示例文本文件并将其全部内容读入数据变量。
with open('sample.txt') as f: data = f.read()

使用TF-idf提取关键词和权重,并按顺序显示,若不指定,默认显示20个关键词。
for keyword, weight in extract_tags(data, withWeight=True): print('%s %s' % (keyword, weight))
在内容显示之前,会有一些提示,忽略即可。
Building prefix dict from the default dictionary ... Loading model from cache /var/folders/8s/k8yr4zy52q1dh107gjx280mw0000gn/T/jieba.cache Loading model cost 0.547 seconds. Prefix dict has been built succesfully.
然后名单就出来了:
优步 0.280875594782 司机 0.119951947597 乘客 0.105486129485 师傅 0.0958888107815 张师傅 0.0838162334963 目的地 0.0753618512886 网约车 0.0702188986954 姐姐 0.0683412127766 自己 0.0672533110661 上车 0.0623276916308 活儿 0.0600134354214 天津 0.0569158056792 10 0.0526641740216 开优步 0.0526641740216 事儿 0.048554456767 李师傅 0.0485035501943 天津人 0.0482653686026 绕路 0.0478244723097 出租车 0.0448480260748 时候 0.0440840298591
我看了一下,发现关键字提取相当可靠。当然,其中混入了一个数字 10,但这无伤大雅。
如果需要修改关键词数量,需要指定topK参数,比如要输出10个关键词,可以这样执行:
for keyword, weight in extract_tags(data, topK=10, withWeight=True): print('%s %s' % (keyword, weight))
接下来我们尝试另一种关键词提取方法——。
for keyword, weight in textrank(data, withWeight=True): print('%s %s' % (keyword, weight))
关键词提取结果如下:
优步 1.0 司机 0.749405996648 乘客 0.594284506457 姐姐 0.485458741991 天津 0.451113490366 目的地 0.429410027466 时候 0.418083863303 作者 0.416903838153 没有 0.357764515052 活儿 0.291371566494 上车 0.277010013884 绕路 0.274608592084 转载 0.271932903186 出来 0.242580745393 出租 0.238639889991 事儿 0.228700322713 单数 0.213450680366 出租车 0.212049665481 拉门 0.205816713637 跟着 0.20513470986
注意,这个提取的结果和TF-idf的结果不一样,至少那个突兀的“10”没有了。
但是这是否意味着这个方法就一定比TF-idf更好呢?
这个问题留给大家思考,希望大家在仔细阅读下面的原理部分后,能够自己回答出来。
如果你只需要应用该方法解决实际问题,请跳过原理部分,直接进入讨论。
原则
我们先简单解释一下上面提到的两种不同的关键词提取方法——TF-idf和的基本原理。
为了不让大家觉得无聊,这里就不用数学公式了,后面我会提供相关信息链接,如果大家对细节感兴趣的话,可以跟着地图去看看。
我们先来谈谈TF-idf。
它的全称是Term-,中间有一个连字符,左右两边是组合在一起的部分,用来判断某个单词的重要性。
第一部分是词频(Term),也就是某个单词出现的频率。
我们常说“重要的事情说三遍”。
同样的道理,如果一个词出现的次数较多,就意味着这个词可能非常重要。
但这只是一种可能性,而不是必然性。

比如,现代汉语中的很多虚词——“的、地、得”,古汉语中的很多句末词——“之、乎、者、也、兮”,这些词在文中可能出现多次,但它们显然不是关键词。
这就是为什么我们在判断关键词的时候需要第二部分(idf)来配合。
逆文档频率(IDF)首先计算每个文档中单词出现的频率。假设总共有 10 篇文档,单词 A 出现在所有 10 篇文章中,而另一个单词 B 只出现在其中 3 篇中。哪个词更关键?
给您一分钟时间思考一下,然后继续阅读。
是时候揭晓答案了。
答案是B更为关键。
A可能是虚词,也可能是所有文档共有的主题词,而B只在3篇文档中出现,所以是关键词的可能性很大。
逆文档频率是文档频率的倒数,第一部分和第二部分越高越好,如果两者都高,那么很有可能是关键词。
既然已经讲完了TF-idf,那我们就来说说吧。
它相对于TF-idf来说要复杂一些,并不是简单的加减乘除运算,而是基于图的计算。
下图是来自原始文献的示例图。
.png
首先提取单词形成节点;然后根据单词之间的关联建立链接。
根据连接节点的数量,为每个节点分配一个初始权重值。
然后开始迭代。
根据与某个词相连的所有词的权重,重新计算该词的权重,然后将重新计算的权重继续传递下去,直到这种变化达到一个平衡状态,权重值就不再变化了,这在理念上和网页排名算法是一致的。
.png
根据最终的权重值,排名靠前的单词作为关键词提取结果。
如果对原文文献感兴趣,请参考以下链接:
讨论
综上所述,本文主要讨论如何从中文文本中提取关键词,具体来说,我们分别采用了TF-idf和方法,两种方法提取关键词的结果可能会有所不同。
你曾经提取过中文关键词吗?用了什么工具?效果如何?有没有比这篇文章更高效的方法?欢迎留言和大家分享你的经验和想法,一起讨论。
喜欢的话就点个赞吧,也可以关注和收藏我的微信公众号“玉树芝兰”()。
如果你对数据科学感兴趣,不妨阅读我的系列教程索引文章“如何高效地开始数据科学?”关键词提取工具,里面有更多有趣的问题和解决方案。