Keras命名体识别(NER)实战---自然语言处理技术(1)

《Keras命名体识别(NER)实战---自然语言处理技术(1)》

简介

命名体识别(Name Entity Recognition)是自然语言处理(Nature Language Processing)领域中比较重要的一个任务,几乎百分之50的和文本处理有关的项目中都会涉及到命名体识别。笔者认为其中最关键的原因是:从广义的角度来讲,如果把一句话比作一串珍珠的话,命名实体就是这串珍珠项链中的珍珠,句子的其他部分是把珍珠串起来的线。

举个例子: “小明1992年哈佛大学毕业 “

其中小明,1992年,哈佛大学都是命名实体,而这些实体包含了这句话里面的极为重要信息:人物信息,时间信息,还有组织信息。而其他的词将这些实体串起来,才能表达出这句话完整的语义。

而在一些专业领域,比如化学,医药领域,经常出现一些四氧化三铁,阿尔兹海默症等专业词汇,如果只通过简单的分词很难将这些重要的关键词汇识别出来。而在这样的场景下,NER就能发挥出它的威力了。

总而言之,NER 的任务就是要将这些包含信息的或者专业领域的实体给识别出来。这个过程是不是很像在一串珍珠项链里面识别出宝贵的珍珠(这个比喻笔者觉得只能算凑合)。

NER任务简介

NER是一个序列标柱任务,和分词,词性标注的任务属同一类。任务的输入是一串序列,输出也是一串序列。例子如下:
输入:[北,京,天,气,真,不,错]
输出: [1,2,0,0,0,0,0]
其中1表示位置实体的开头B_LOC ),2表示位置实体的中间I_LOC ),通过 B_LOC 和 I_LOC 我们就可以锁定北京这个位置实体。

NER算法简介

NER算法从上古时期的HMM,到CRF,再到现在的特别火爆的深度学习CNN+BiLSTM+CRF(论文地址),算法的准确率可谓是节节高升。现在的比较先进CNN+BiLSTM+CRF算法已经可以达到97%以上的准确率了。这里我只简单介绍一下最先进的CNN+BiLSTM+CRF 算法。
(1)CNN 做字符级别的编码,主要解决OOV(out of vocabulary :测试数据中出现了训练数据中未出现过的词)的问题。
(2)LSTM 作为神经网络的一份子,其强大的拟合能力可以很好的完成这个序列标注问题。
(3)CRF能记住实体序列的规则。它的作用是纠正LSTM的一些低级错误。
有兴趣的同学可以研读一下这篇论文。

NER实战部分

如果一个深度学习项目摆在你面前,基本可以不假思索的列出下面这四部:

  1. 数据预处理;
  2. 构建网络模型;
  3. 训练网络模型,优化模型;
  4. 预测。

当然我省去了头部极为费时费力的数据清洗,数据标注过程(为数据标注工程师打call),以及尾部的模型上线和模型迭代优化的过程。
我这里的实战代码使用的是阉割版的CNN+BiLSTM+CRF—BiLSTM+CRF。

数据预处理

训练数据的样式如下图所示。

《Keras命名体识别(NER)实战---自然语言处理技术(1)》

定义 Dataset 类,封装一些数据读入和预处理方法。

数据处理部分:

原始数据格式如下:
句子:[冬天的上海真冷]
tag : [O,O,O,B_LOC,I_LOC,O,O]

执行完上方代码后,就可以将数据处理成这样:
word_id: [0,0,0......35,67,2,89,21,36,78]
tag_id. : [-1,-1,-1......0,0,0,1,2,0,0]
word_id 是将字映射成词典中对应的id, tag_id 是将tag映射成tag对应的id。数据被处理成这样格式之后,才能喂给模型。

BiLSTM+CRF模型构建

定义一个 BiLSTM+CRF 类,封装模型的构建,训练和预测方法。

构建ner模型:

其架构图如下:

《Keras命名体识别(NER)实战---自然语言处理技术(1)》

模型训练

运行上方代码模型就开始训练,训练过程如图所示,笔者只设置了一个epoch做这个实验。至此模型顺利跑起来了。

《Keras命名体识别(NER)实战---自然语言处理技术(1)》

模型预测

训练完模型后,执行上面代码就会返回如下结果:

当然你也可以尝试一下其他带有实体的句子作为输入。至此整个NER的任务基本上就算完成了。是不是So easy。

结语

序列标注(分词,NER),文本分类(情感分析),句子关系判断(语意相似判断),句子生成(机器翻译)作为NLP领域的四大任务。今天只对序列标注任务–NER进行了介绍,之后笔者也会对其他任务逐一进行介绍,希望能够帮助大家初步了解NLP这个神秘的领域。收!

参考文献

End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF
https://github.com/stephen-v/zh-NER-keras
https://github.com/Determined22/zh-NER-TF

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注

6 + 9 =