1. 中文分词原理讲解

1. 基于理解的分词法

这种分词方法通过让计算机模拟一个人对句子的理解来实现单词识别的效果。基本思路是在对单词进行分割的同时进行句法和语义分析，并使用句法信息和语义信息来处理歧义。它通常由三部分组成：分词子系统、句法语义子系统和主控制部分。在主控部分的协调下，分词子系统可以获取单词、句子等的句法和语义信息，以判断分词的歧义性，即模拟人类对句子的理解过程。这种分词方法需要使用大量的语言知识和信息。由于汉语知识的通用性和复杂性，很难将各种语言信息组织成机器可以直接阅读的形式，因此基于理解的分词系统仍处于实验阶段。

2. 基于字符串匹配的分词方法基于

字符串匹配的分词化与同义词库进行对比，根据不同的扫描方式进行分割，扫描方式分为四种类型：

1） 向前最大匹配方法（从左到右方向）。

正向最大匹配算法：将文本中要分割的文本中的几个连续字符与单词列表从左到右匹配，如果匹配，则拆分一个单词。但这里有一个问题：为了实现最大匹配，它不是第一次匹配时可以切片的东西。让我们举个例子：

分词文本： []={“中”， “华”， “民”， “族”， “从”， “这个”， “站”， “上升”， “来”， “到”， “到”。"}

词汇表： dict[]={“中华”， “中华民族”， “从此”， “站起来”}

（1） 从 [1] 开始，扫描 [2] 时，发现 “中华” 已经在词汇表 dict[] 中。但是我们现在还不能把它切成碎片，因为我们不知道后面的单词是否可以形成更长的单词（最大匹配数）。

（2） 继续扫描[3]，发现 “ ” 不是 dict[] 中的一个字。但我们无法确定之前发现的“中国”是否已经是最大的词。因为 “ ” 是 dict[2] 的前缀。

（3） 扫描[4] 显示“中华民族”是字典中的一个词[]。继续扫描：

（4）扫描时[5]发现“中华民族”在词汇中不是一个词，也不是一个词的前缀。所以，前面最大的一个字可以删掉——“中华民族”。

可以看出，   必须确保下一次扫描不是词汇表中的单词或单词的前缀，然后才能完成。

2） 反向最大匹配方法（从右到左方向）。

这

反向最大匹配方法的原理与正向相同，只是是从右向左

反向最大匹配方法通常简称为 RMM 方法。RMM 方法的基本原理与 MM 方法相同，只是分割方向与 MM 方法相反，使用的字典也不同。反向最大匹配方法从要处理的文档的末尾开始匹配扫描，每次将最后 2i 个字符（i 字符串）作为匹配字段时，如果匹配失败，则删除匹配字段的第一个单词并继续匹配。相应地，它使用的分词词典是反序词典，其中每个条目都以相反的顺序存储。在实际处理中，文档按相反顺序处理以生成反向文档。然后，根据   字典，可以通过   匹配方法处理   。反向匹配方法的最大长度为 5。

3） 最少的分割（最大限度地减少每个句子中切掉的单词数量）。

4） 双向最大匹配方法（从左到右和从右到左两次扫描）。

这

正向最大匹配法和反向最大匹配法都有各自的局限性，我举的例子就是正向最大匹配法的局限性，反之也存在（比如：长春药房，反向切割分为“长/春药房”），所以有人提出了双向最大匹配法， 双向最大匹配方法。即两种算法都切一次，然后根据大粒度词越多越好，非字典词、单词、总词越少越好的原则，选择其中一个分词结果。

非字典单词：正向 （1） >反向 （0）（越少越好）。

单词词典单词：前进 （2） = 反向 （2）（少越好）。

总字数：前进 （6） > 后退 （4）（越少越好）。

因此，最终输出是逆结果。

5） 为了提高分词的准确性，出现了标志和特征扫描。标志分割将标志作为断点，原始字符串可以分成更小的字符串，然后输入到机械分词中。特征分词结合了分词和词类标注，利用丰富的词类信息来帮助分词决策，进而在标注过程中测试和调整分词结果，从而大大提高分词的准确性。

3. 基于统计的分词方法

从形式上讲，单词是稳定单词的组合，因此相邻单词在上下文中同时出现的次数越多，形成单词的可能性就越大。因此，词语相邻出现的频率或概率更能反映词语的可信度。可以计算语料库中相邻共现组合的频率，并计算它们的出现信息。定义两个汉字的互现信息，计算两个汉字 X 和 Y 的相邻共现概率。互惠的信息反映了汉字之间纽带的紧密程度。当接近程度高于某个阈值时，可以假设该组可能构成一个词。这种方法只需要统计语料库中词组的频率，不需要对词典进行分割，因此也称为无词典分词法或统计词检索法。但是，这种方法也有一定的局限性，往往会提取一些共现频率高的常用词组却不提取词，比如 “this”、“one”、“some”、“mine”、“many” 等，且常用词的识别准确率较差，时空开销大。统计分词系统的实际应用应使用一种基本的分词词典（ word ）进行串匹配分词，同时采用统计方法识别一些新词，即跨频统计和串匹配相结合，不仅充分发挥了快速匹配分词、效率高的特点， 而且还利用了 NO   WORD   与上下文相结合的优势来识别新单词并自动消除歧义。

机械学习统计分词：在有大量文本被分词的前提下，利用统计机器学习模型学习分词的规则，实现对未知文本的分词，也可以作为训练统计分词。

二、百度分词的难点：

1. 识别歧义词

歧义是指可能有两种或多种方法可以切割同一句话。歧义主要有两种类型：交集歧义和组合歧义，例如：肤浅的，既然“肤浅的”和“肤浅的”都是词，那么这个短语可以分为“肤浅的”和“肤浅的”。这称为交叉歧义 （-）。这种路口歧义很常见，上面给出的 “” 的例子，其实就是因为路口歧义造成的失误。“化妆和服装”可以分为“化妆和服装”或“化妆和服装”。由于没有人需要理解，计算机很难知道哪个方案是正确的。

2. 新词识别

命名实体（人名、地名）、新词和技术术语称为未注册词。也就是说，那些没有包含在   词典中，但确实可以称为单词的单词。最典型的是人名，很容易理解。在“王军虎去了广州”这句话中，“王军虎”是一个词，因为它是一个人的名字，但是电脑很难识别。如果把“王君狐”作为一个词收录进字典，世界上就有这么多名字，而且每时每刻都在增加新的名字，而收录这些名字本身就是一个巨大的工程。即使能做好这项工作，也会有问题，比如：“王君虎头虎脑”这句话里，“王君虎”还能算一个字吗？

3. 百度搜索引擎分词注意事项。

1. 注意标签中下划线的使用。虽然搜索词的匹配度比谷歌大很多，但由于百度分词是建立在综合使用字典匹配和统计匹配的基础上的下拉神器登录★64xl.com下拉技术霸屏，关键词下拉词条，所以没有必要分词，这会导致非常乱的分词。标题分隔符描述如下：

2. 在关键词不完全匹配的情况下，如果有分词，例如：关键词 “ ”，在一个网页中首次出现的关键词是 “”，关键词密度很高，但这个网页中没有关键词 “”，而在另一个网页中第一次出现的关键词是 ， 那么这个网页的关键词就会被拆分成两个词：“”和“”，虽然第二个网页包含“”和“”。但是，第一页仍然会排在第二页前面，这意味着关键词的第一部分是最重要的，因为第一关键词比后面的关键词更重要。因此，在对关键词进行排序时，我们应该注意顺序，因为关键词的权重会从左到右递减。例如，在 = “SEO， SEO ， SEO ， SEM， SEM ”中，权重从左到右递减，所以即使只做了前两三个关键词，后面的关键词的排名也会自动上升。

3. 百度搜索引擎在分词方面也有正向匹配和反向匹配原则。例如百度关键词准吗，独立游戏的下载基础。百度在进行分词时，会形成独立游戏、独立游戏、独立下载、游戏下载、下载基地等，从右到右选择合适的关键词，重点放在前几个词上。

4. 尽量去掉一些停用词，比如 “of”、“ah” 等，这些词对内容没有影响，但出现频率高，减少计算量。

5. 删除一些在某些方面对页面主题没有贡献的内容，例如广告、具有固定目标的导航栏、版权声明文本等。

6. 考虑到搜索引擎的用户体验和搜索习惯，有必要进行一些去重处理，不要让同一文章链接到同一网站的不同界面或链接到其他网站界面。

第四，基本上有两种方式可以查看百度的分词功能：

第一种方法：使用   。

现在在百度搜索“大学生活动策划书”，然后再选择几个页面，不要直接点击进去，而是点击对应的“百度快照”。会有不同颜色的关键词作为背景颜色代码。这些是百度在这个页面上做的分词情况。再看几个页面并整理出所有这些关键词。

例如，“大学生活动策划书”大致可以分为：大学生、大学生活动、活动策划书、大学生活动策划书等。

第二种方法：利用百度搜索结果

当你用百度搜索关键词或关键词时，你会列出很多结果来选择。同时，出现在用户搜索词中的文本在这些结果列表中以红色字体显示。

用红色字母总结这些词。最好查看搜索结果列表的前 10 页。然后总结其中的一些词。不难看出百度是如何划分你搜索的单词或句子的。

五、使用百度分词设置标题

1. 关键词不是文章的标题，学会使用百度分词 1.通过多渠道查找关键词，对比找到优质关键词

2. 学会熟练使用工具，可以让你事半功倍。

3. 关键词评分优化，长短合理结合。关键词的长度不同，难度不同，这就需要我们进行分级优化，核心词权重高，长尾词出现在网页上，具体的关键词分类优化，可以参考我的另一篇关于如何优化关键词分类的博文，这里就不赘述了。

4. 关键词不是文章的标题，学会使用百度分词。很多编辑在写文章的时候，都喜欢直接用关键词当标题，一方面省心，另一方面又觉得绝对匹配，排名会不错。其实这个是不正确的，确实，完全匹配关键词的标题会给排名带来一定的好处，但是百度无法让你在首页上排名一模一样的标题文章，这就需要我们合理利用分词技术和同义词重复，让标题不仅与关键词完全匹配， 但也吸引用户点击。毕竟，如果你只有排名而没有用户点击，那就没用了。

5. 最好的数据统计，善于分析数据。

第六，向你展示使用分词作为标题的优势

选好关键词后，我想做这个字，那个字也想做，如果 Home 上放置的关键词超过 5 个怎么办？例如，作者网站上要做的关键词是：无缝钢管，钢管，无缝钢管价格，大口径无缝钢管，小口径无缝钢管，厚壁钢管，厚壁无缝钢管，无缝钢管厂家。如果这些关键词列出的字数远超过百度标题显示的 63 个字符，那么百度显示的 63 个字符之后就很难优化关键词的权重了！在这里你可以利用百度的分词技术把这些关键词整合在一起百度关键词准吗，把百度首页的关键词写成：小口径无缝钢管价格|厚壁钢管|厚壁无缝钢管|大口径无缝钢管厂家。

第一个关键词：小口径无缝钢管价格可以用百度分词技术分为三个词：小口径无缝钢管、无缝钢管、无缝钢管价格。

分隔所有单词：

小口径无缝钢管价格 小口径无缝钢管 无缝钢管 无缝钢管 无缝钢管价格

厚壁钢管：厚壁钢管

厚壁无缝钢管： 厚壁无缝钢管 无缝钢管 钢管 厚壁钢管

大口径无缝钢管厂家： 大口径无缝钢管 无缝钢管厂家 无缝钢管厂家

关于关键词排名：关键词越高，越容易排名越好。有人曾经做过一个实验：第一个 Home 标题写成：大口径无缝钢管价格|厚壁无缝钢管|厚壁钢管|小口径无缝钢管厂家结果 大口径无缝钢管排名 Home，小口径无缝钢管排名第二页。名称修改后为：小口径无缝钢管价格，厚壁钢管，厚壁无缝钢管，大口径无缝钢管厂家。结果，小口径无缝钢管在首页的排名和大口径无缝钢管的排名下降到了第三页。其他词语已经发生了一些变化。可见关键词的顺序也需要注意。建议：首先对转化率高的关键词进行排名。