[發(fā)明專利]一種基于Bert的實(shí)體鏈接方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011420679.1
• 申請(qǐng)日: 2020-12-08
• 公開（公告）號(hào): CN112560489A
• 公開（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: 胡博欽;謝水庚;張晶亮;郝志強(qiáng);樊濤
• 申請(qǐng)（專利權(quán)）人: 北京航天云路有限公司
• 主分類號(hào): G06F40/295
• 分類號(hào): G06F40/295;G06F16/36
• 代理公司: 北京世譽(yù)鑫誠專利代理有限公司 11368
• 代理人: 孫國棟

1.一種基于Bert的實(shí)體鏈接方法，其特征在于，包括以下步驟：

S1、知識(shí)庫包括很多實(shí)體，每個(gè)實(shí)體的信息包括一個(gè)唯一的實(shí)體id、別名以及實(shí)體相關(guān)的屬性和屬性值；

S2、數(shù)據(jù)分析和處理；

S3、實(shí)體識(shí)別；

S4、實(shí)體消歧：實(shí)體消歧的實(shí)現(xiàn)是基于二分類，訓(xùn)練時(shí)選取連接到的實(shí)體作為正例，在候選實(shí)體里選取兩個(gè)負(fù)例。

2.如權(quán)利要求1所述的一種基于Bert的實(shí)體鏈接方法，其特征在于，所述步驟S2具體步驟如下：

S201、數(shù)據(jù)清洗，處理特殊符號(hào)、標(biāo)點(diǎn)；

S202、統(tǒng)計(jì)短文本長(zhǎng)度，統(tǒng)一做歸一化；

S203、構(gòu)造若干字典，包括entity-id(key：實(shí)體名字value：kb_id列表),id-entity(key:kb_id value:實(shí)體名稱),id-text(key：kb_id value:實(shí)體描述文本)。

3.如權(quán)利要求2所述的一種基于Bert的實(shí)體鏈接方法，其特征在于，所述步驟S3包括如下步驟：

S301、實(shí)體正向最大匹配：采用字典樹結(jié)構(gòu)以及正向最大匹配實(shí)體思路，去匹配文本中實(shí)體，首先需要的數(shù)據(jù)為S203中的entity_id字典，將里面的key也就是實(shí)體名字插入到字典樹中；

S302、模型：短文本經(jīng)過BERT層，得到BERT的輸出向量，將BERT的輸出經(jīng)過CRF層，獲得短文本中的候選實(shí)體，將短文本中的候選實(shí)體與知識(shí)庫中的候選實(shí)體相比較，如果前者的完全被后者覆蓋，則選取后者中的長(zhǎng)度最大實(shí)體。

4.如權(quán)利要求3所述的一種基于Bert的實(shí)體鏈接方法，其特征在于，所述步驟S4包括如下步驟：

實(shí)體名字嵌入：將每個(gè)實(shí)體文本描述輸入到BERT模型，在[CLS]位置處得到每個(gè)實(shí)體的輸出向量；

實(shí)體消歧：將短文本以及待消歧實(shí)體的描述文本連在一起，輸入到BERT模型，取CLS位置向量輸出，以及候選實(shí)體對(duì)應(yīng)開始和結(jié)束位置對(duì)應(yīng)的特征向量，三個(gè)向量連接，經(jīng)過全連接層，最后sigmoid激活得到候選實(shí)體的概率得分，對(duì)所有候選實(shí)體的概率得分進(jìn)行排序，選擇概率最高的為正確實(shí)體。