本文主要来介绍NLP中的命名实体识别。命名实体识别与中文分词、词性标注一样，也是NLP的一个基础任务，是信息抽取、信息检索、机器翻译、问答系统等多种NLP技术不可或缺的一部分。其目的是：识别语料中的人名、地名、组织机构名等命名实体。
随着命名实体数量的不断增加，一般不可能在词典中全部列出，由于命名实体的构成方法具有规律性，通常把对这些词的识别在任务中进行独立处理，称之为命名实体识别。NER一般分为3大类和7小类。
1.中文命名实体识别的难点
各类命名实体的数量众多。命名实体的构成规律复杂。比如人名的构成规则各有不同，中文人名识别又可以细分为中国人名识别、日本人名识别和音译人名识别等；再比如机构名的组成方式，机构名的种类繁多，各有独特的命名方式，用词也相当广泛，只有结尾用词相对集中。嵌套情况复杂。一个命名实体经常和一些词组合成一个嵌套的命名实体，人名中嵌套着地名，地名中也经常嵌套着人名。长度不确定。与其他类型的命名实体相比，长度和边界难以确定，使得机构名更难识别。中国人名一般二到四字，常用地名一般二到四字，但是机构名长度变化范围极大，少的只有两个字简称，多的达到几十个字的全称。2命名实体识别方式
金色晚报 | 11月27日晚间重要动态一览:12:00-21:00关键词：PlusToken、Libra、ETC硬分叉、Upbit交易所
1. PlusToken案涉案42亿美元加密资产将被依法处理，含19万枚比特币。
2. Facebook计划最早在明年一月以有限形式发行加密货币Libra。
3. Upbit交易所将于明日实行有限的加密货币提现延迟措施。
4. 欧洲央行管委魏德曼：可以发行央行数字货币供商业银行使用。
5. 英国欲成立数字市场部门 监管谷歌、Facebook等数字科技平台。
6. ETC官方预计Thanos硬分叉升级将于11月29日发生。
7. 江卓尔：PlusToken资产拍卖就是大新闻，不卖就是锁仓。
8. 数据：持有1000个BTC以上的投资者拒绝抛售并且仍在买入。[2020/11/27 22:23:34]
中文分词中，主要有基于规则方法、基于统计方法和基于二者的混合方法。命名实体识别主要也包含这三种方法。
金色午报 | 11月24日午间重要动态一览:7:00-12:00关键词：ETH2.0、苏州、灰度、华尔街日报
1. ETH2.0存款合约进度达100% 创世区块将如约启动；
2. 苏州双十二数字人民币红包数量或约10万个；
3. 灰度BTC信托增持1202枚 ETH信托持仓增长1.15%；
4. 华尔街日报头版头条：BTC交易创纪录正吸引更多支持；
5. Uniswap延长流动性挖矿提议已进入共识检查阶段 反对率高达81.61%；
6. 委内瑞拉士兵将军队建筑改装为矿场开采比特币；
7. 日本财务大臣麻生太郎：需要密切关注央行数字货币的发展。[2020/11/24 21:54:36]
基于规则的命名实体识别：规则加词典是早期命名实体识别中最行之有效的方式。依赖手工规则，结合命名实体库，对每条规则进行权重赋值，然后通过实体与规则的相符情况来进行类型判断。基于统计的命名实体识别：与分词类似，目前主流的基于统计的命名实体识别方法有：隐马尔可夫模型、最大熵模型、条件随机场等。其主要思想是：基于人工标注的语料，将命名实体识别任务作为序列标注问题来解决。基于混合的命名实体识别：NLP并不完全是一个随机过程，单独使用基于统计的方法使状态搜索空间非常庞大，必须借助规则知识提前进行过滤修剪处理。目前几乎没有单纯使用统计模型而不使用规则知识的命名实体识别系统，在很多情况下是使用混合方法，结合规则和统计方法。序列标注方式是目前命名实体识别中的主流方法，下面重点介绍基于CRF条件随机场的方法。
金色晚报 | 11月17日晚间重要动态一览:12:00-21:00关键词：17000美元、以太坊2.0、Tether、Grin
1. Uniswap初始流动性挖矿结束 流动代币总价值下降约44.72%。
2. 数据：以太坊智能合约中的ETH总额超过交易所持有的ETH总额。
3. Tether以太坊黑名单地址在Q4增长130%。
4. 日本央行前高管：日本可能需要数年时间才能发行数字货币。
5. L2 Labs在以太坊测试网Ropsten上推出Layer2 平台ZKSwap。
6. 区块链隐私计算平台Oasis集成Chainlink作为首选预言机提供商。
7. 以太坊2.0存款合约地址收到98752.0ETH 当前进度18.84%。
8. 《中国区块链发展报告（2020）》正式发布。
9. 匿名币项目Grin拟于11月24日发布Grinv5.0.0测试版。[2020/11/17 21:06:00]
3基于CRF的命名实体识别
火币矿池CEO曹飞：HPT上线是最重要的里程碑事件:火币矿池CEO曹飞今日在媒体直播时表示，火币对于区块链区块链布局是最早的，包括矿池，包括火币大学、火币研究院等。火币矿池成立两年时间里，最重要的里程碑事件就是HPT上线。HPT上线意味着矿池所有业务线都有了强大的支撑点，包括空投、Staking业务等，所有业务都由HPT串联一起，形成自己独特的商业生态模式，HPT助力业务，同时业务也对HPT反向赋能。[2020/3/4]
条件随机场的主要思想来源于HMM，也是一种用来标记和切分序列化数据的统计模型。不同的是，条件随机场是在给定观察的标记序列下，计算整个标记序列的联合概率，而HMM是在给定当前状态下，定义下一个状态的分布。
条件随机场的定义为：假设X=(X1,X2,X3,…,Xn)和Y=(Y1,Y2,Y3,…,Ym)是联合随机变量，若随机变量Y构成一个无向图G=(V，E)表示的马尔可夫模型，则其条件概率分布P(Y|X)称为条件随机场，即：
国务院发展研究中心金融研究所教授朱俊生：发展区块链最重要的条件是实现法律保障:近日上海保监局发布消息称上海保险业完成国内首个在保险区块链技术应用实验。对此，国务院发展研究中心金融研究所教授朱俊生表示：“目前，保险行业大都集中精力在基于区块链系统的研发工作上。未来发展的重点，便是将区块链技术整合到业务交易系统里面，即将业务交易系统以区块链为基础设施进行构建。而发展区块链最重要的条件，就是实现法律保障，否则很难有效应用。”[2018/3/7]
P(Yv|X,Yw,w≠v)=P(Yv|X,Yw,w～v)
其中w～v表示无向图G=(V，E)中与结点v有边连接的所有节点，w≠v表示结点v以外的所有节点。
例如：对句子“我来到陶家村”进行标注，正确标注后的结果为：我/O来/O到/O陶/B家/M村/E。采用线性链CRF来进行解决，那么是其一种标注序列，也是是其一种标注选择，类似的可选择的标注序列有很多，在NER任务中就是在这么多的可选标注序列中，找出最靠谱的作为句子的标注。
那么我们要解决的问题就是要判断标注序列是否靠谱。就刚才的两种标注方法，显然第一种比第二种更为准确，因为第二种将“陶”和“家”都作为地名首字标成了“B”，一个地名两个首字符，显然不合理。假如给每个标注序列打分，分值代表标注序列的靠谱程度，越高代表越靠谱，那么可以定一个规则，若在标注中出现连续两个“B”结构的标注序列，则给它低分。连续“B”结构打低分就对应一条特征函数。在CRF中，定义一个特征函数集合，然后使用这个特征函数集合为标注序列进行打分，据此选出最靠谱的标注序列，该序列的分值是通过特征函数集合得出的。
在CRF中有两种特征函数，分别为：转移函数tk(yi-1,yi,i)和状态函数sl(yi,X,i)。tk(yi-1,yi,i)依赖于当前和前一个位置，表示从标注序列中位置i-1的标记yi-1转移到位置i上的标记yi的概率。sl(yi,X,i)依赖当前位置，表示标记序列在位置i上为标记yi的概率。通常特征函数取值为1或0，表示符不符合该条规则约束。
4日期识别代码示例
应用场景：
现有一个智能外呼系统，由机器人拨打电话给客户，通知客户新股中签情况，客户与机器人进行对话。对话机器人根据用户的语音进行解析，发觉用户的需求，比如：新股中签的时间，新股买入的时间等。通过asr技术将用户的语音转换成中文文本，然后由于asr的识别准确度问题，许多日期类的数据并不是严格的数字，比如会出现“十一月12日”“2019年11月”“20191112”“后天下午”等形式。
现在的需求是识别出每个请求文本中可能的日期信息，并将其转换成统一的格式进行输出。比如：“我打算今天或明天买入新股”，那么通过日期解析后，应该输出为“2019-11-12”和“2019-11-13”。
通过结果分析可以看到，text1text2text3text4结果还是相对较好的，对于text5这种规则覆盖之外的场景，方法效果大大降低。
作者：KevinTao
知乎号：Kevin陶民泽
备注：转载请注明出处。
如发现错误，欢迎留言指正。
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。