工欲善其事，必先利其器，再好的方法也比不上现成的工具。

常见中文NLP任务

中文分词、依存分析、实体识别、关系抽取、标注工具、标点恢复、文本纠错

文本校正是一项非常基本但又困难的任务。

import pycorrector corrected_sent, detail = pycorrector.correct('客户反映发动机故障等亮')print(corrected_sent, detail)

输出：

客户报告发动机故障灯亮起 [('等待它亮起', '灯亮起', 9, 11)]

import xmnlpimport datetime xmnlp.set_model(r'F:\pretrained_model\xmnlp-onnx-models')''' python 3.7版本，程序执行的结果可能有问题， python3.8版本，程序执行结果正常 注意文件名不要设置成xmnlp.py会报错！ '''# demo演示集合text = "xmnlp 是一款开箱即用的轻量级中文自然语言处理工具。"text2 = "现任美国总统是拜登。"# 1.中文分词功能# （默认），基于逆向最大匹配来分词，采用 RoBERTa + CRF 来进行新词识别。print(xmnlp.seg(text))# 基于逆向最大匹配来分词，不包含新词识别，速度较快。print(xmnlp.fast_seg(text))# 基于 RoBERTa + CRF 模型，速度较慢。当前深度接口只支持简体中文，不支持繁体。print(xmnlp.deep_seg(text))# 2.词性标注功能print(xmnlp.tag(text))# 基于逆向最大匹配，不包含新词识别，速度较快。print(xmnlp.fast_tag(text))# 基于 RoBERTa + CRF 模型，速度较慢。当前深度接口只支持简体中文，不支持繁体。print(xmnlp.deep_tag(text))# 3.命名实体识别''' 命名体识别，支持识别的实体类型为： TIME：时间 LOCATION：地点 PERSON：人物 JOB：职业 ORGANIZAIRION：机构 '''print(xmnlp.ner(text2))# 4.关键字提取# 从文本中提取关键词，基于 Textrank 算法。''' 参数： text：文本输入 k：返回关键词的个数 stopword：是否去除停用词 allowPOS：配置允许的词性 '''text3 = """自然语言处理: 是人工智能和语言学领域的分支学科。     ...: 在这此领域中探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的     ...: 语言。     ...: 自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化     ...: 为计算机程序更易于处理的形式。"""print(xmnlp.keyword(text3))# 5.关键句提取# 从文本中提取关键句，基于 Textrank 算法。''' 参数： text：文本输入 k：返回关键词的个数 stopword：是否去除停用词 '''print(xmnlp.keyphrase(text3, k=2))# 6.情感识别text = '这本书真不错，下次还要买'print(xmnlp.sentiment(text))# 7.文本转拼音text = '自然语言处理'print(xmnlp.pinyin(text))# 8.提取文本部首print(xmnlp.radical(text))# 9.文本纠错''' 参数： text：输入文本 suggest：是否返回建议词 k：返回建议词的个数 max_k：拼音搜索最大次数（建议保持默认值） '''text = "不能适应体育专业选拔人材的要求"print(xmnlp.checker(text))# 10.句向量''' SentenceVector 初始化函数 model_dir: 模型保存地址，默认加载 xmnlp 提供的模型权重 genre: 内容类型，目前支持 ['通用', '金融', '国际'] 三种 max_length: 输入文本的最大长度，默认 512 以下是 SentenceVector 的三个成员函数 xmnlp.sv.SentenceVector.transform(self, text: str) -> np.ndarray xmnlp.sv.SentenceVector.similarity(self, x: Union[str, np.ndarray], y: Union[str, np.ndarray]) -> float xmnlp.sv.SentenceVector.most_similar(self, query: str, docs: List[str], k: int = 1, **kwargs) -> List[Tuple[str, float]] '''import numpy as npfrom xmnlp.sv import SentenceVector query = '我想买手机'docs = [     '我想买苹果手机',     '我喜欢吃苹果']sv = SentenceVector(genre='通用')for doc in docs:     print('doc:', doc)     print('similarity:', sv.similarity(query, doc))print('most similar doc:', sv.most_similar(query, docs))print('query representation shape:', sv.transform(query).shape)

输出：

延迟加载…

['', '是', '一种', '开箱即用', '轻量级', '中文', '自然语言', '处理', '工具', '', '。']

['', '是', '一个', '未装箱', '随时可用', '一个', '轻量级', '中文', '自然语言', '处理', '工具', '', '。 ']

['', '是', '一种', '开箱即用', '一种', '轻量级', '中文', '自然', '语言', '处理', '工具', '', '。']

[('', 'eng'), ('is', 'v'), ('a', 'm'), ('', 'n'), (' to use', 'v'), ('of', 'u'), ('', 'b'), ('', 'nz'), (' ', 'l'), ('', 'v'), ('tool', 'n'), ('', 'x'), ('。', 'x')]

[('', 'eng'), ('is', 'v'), ('a', 'm'), ('', 'n'), ('that is', 'v'), ('use', 'p'), ('of', 'uj'), ('', 'b'), ('', 'nz'), (' ', 'l'), ('', 'v'), ('tool', 'n'), ('', 'x'), ('。', 'x')]

[('', 'x'), ('是', 'v'), ('a', 'm'), ('拆箱', 'v'), ('即', 'v'), ('使用', 'p'), ('的', 'u'), ('轻量级', 'b'), ('中文', 'nz'), ('自然', 'n'), ('语言', 'n'), ('处理', 'v'), ('工具', 'n'), ('', 'w'), ('。', 'w')]

[('美国', '', 2, 4), ('总统', '乔布斯', 4, 6), ('拜登', '', 7, 9)]

[('自然语言', 2.), ('系统', 1.), ('领域', 1.), ('人类', 1.), ('语言', 1.), ('生成', 1.), ('认知', 0.), ('要点', 0.), ('转移', 0.), ('理解', 0.)]

['…：一种更易于计算机程序处理的形式'关键词提取工具，'自然语言理解系统将自然语言转换为']

延迟加载…

（0.，0.）

（延迟加载）…

[‘子’、‘然’、‘羽’、‘言’、‘楚’、‘礼’]

（延迟加载）…

[‘自’、‘灬’、‘讠’、‘言’、‘夂’、‘王’]

延迟加载…

{(11, '材'): [('才', 1.), ('材', 1.), ('裁', 1.8207), ('员工', 0.), ('数', 0.)]}

医生：我想买一部苹果手机

：0。

医生：我喜欢吃苹果

：0。

大多数文档：[（'我想买一部 '，16.）]

：（312，）

PK：

它是一款综合性工具，总体来说还不错。不过在文本纠错任务中，它是用人民日报的预测来训练的，也就是说对于一些常见的错误它还行，但对于一些特定领域的问题就没那么好了，比如“客户报告发动机故障等”它就识别不了。不过还好关键词提取工具百度关键词准吗★下拉老品牌64xl.com，百度搜索下拉词是自己写的吗，相比较而言，它在文本纠错领域更强大，不过还有很多开箱即用的工具，也很不错。

关键词提取问答系统概述

随着对工具的了解不断增加，此表不断更新。✔ 表示工具支持某项任务。

工具 中文分词 词性标注 句法分析 分类 文本纠错 实体抽取 关系抽取 情感分类 备注

✔

✔

适合中文分词

拉丁美洲和加勒比

✔

✔

✔

✔

综合工具

✔

文本修正工具

✔

✔

✔

✔

综合工具

參考

《中英文关键词提取》