[發(fā)明專利]一種命名實(shí)體的提取方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010949598.4
• 申請(qǐng)日: 2020-09-10
• 公開（公告）號(hào): CN112069821A
• 公開（公告）日: 2020-12-11
• 發(fā)明（設(shè)計(jì)）人: 張鵬濤;景艷山
• 申請(qǐng)（專利權(quán)）人: 北京明略昭輝科技有限公司
• 主分類號(hào): G06F40/295
• 分類號(hào): G06F40/295;G06F40/284;G06F40/126;G06F16/35
• 代理公司: 北京超成律師事務(wù)所 11646
• 代理人: 裴素英

本申請(qǐng)?zhí)峁┝艘环N命名實(shí)體的提取方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，其中，該提取方法包括：將目標(biāo)文本輸入到預(yù)先訓(xùn)練好的編碼模型中，獲取編碼模型輸出的目標(biāo)文本對(duì)應(yīng)的第一文本矩陣；基于目標(biāo)文本對(duì)應(yīng)的第一文本矩陣，確定目標(biāo)文本對(duì)應(yīng)的第一首指針集合和第一尾指針集合；第一首指針集合中包括目標(biāo)文本中滿足預(yù)設(shè)類別的目標(biāo)分詞的首字的第一特征值；第一尾指針集合中包括目標(biāo)文本中滿足預(yù)設(shè)類別的目標(biāo)分詞的尾字的第二特征值；根據(jù)第一首指針集合中的第一特征值，以及第一尾指針集合中的第二特征值，從目標(biāo)文本中提取命名實(shí)體，并確定命名實(shí)體對(duì)應(yīng)的類別。本申請(qǐng)可以對(duì)更新的命名實(shí)體進(jìn)行識(shí)別，數(shù)據(jù)的泛化能力強(qiáng)，命名實(shí)體的識(shí)別效率高。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)信息技術(shù)領(lǐng)域，具體而言，涉及一種命名實(shí)體的提取方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

現(xiàn)階段，命名實(shí)體識(shí)別是自然語言處理領(lǐng)域的一項(xiàng)基本任務(wù)，旨在識(shí)別文本中的命名實(shí)體，并對(duì)識(shí)別出的命名實(shí)體進(jìn)行分類，命名實(shí)體識(shí)別的效果直接決定了自然語言處理的下游任務(wù)的處理精度。

實(shí)際中，命名實(shí)體的識(shí)別方法通常為：由工作人員搜集各個(gè)領(lǐng)域已有的命名實(shí)體，將搜集到的多個(gè)命名實(shí)體編撰成命名實(shí)體詞典，基于命名實(shí)體詞典，從待處理文本中提取命名實(shí)體，并確定命名實(shí)體所屬的類別。

但是，該種命名實(shí)體的識(shí)別方法僅能識(shí)別已記錄的命名實(shí)體，對(duì)更新的命名實(shí)體無法識(shí)別，數(shù)據(jù)的泛化能力弱。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)實(shí)施例的目的在于提供一種命名實(shí)體的提取方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，能夠基于目標(biāo)文本對(duì)應(yīng)的首指針集合和尾指針集合，從目標(biāo)文本中提取命名實(shí)體，可以對(duì)更新的命名實(shí)體進(jìn)行識(shí)別，數(shù)據(jù)的泛化能力強(qiáng)，命名實(shí)體的識(shí)別效率高。

第一方面，本申請(qǐng)實(shí)施例提供了一種命名實(shí)體的提取方法，所述提取方法包括：

將目標(biāo)文本輸入到預(yù)先訓(xùn)練好的編碼模型中，獲取所述編碼模型輸出的所述目標(biāo)文本對(duì)應(yīng)的第一文本矩陣；

基于所述目標(biāo)文本對(duì)應(yīng)的第一文本矩陣，確定所述目標(biāo)文本對(duì)應(yīng)的第一首指針集合和第一尾指針集合；所述第一首指針集合中包括所述目標(biāo)文本中滿足預(yù)設(shè)類別的目標(biāo)分詞的首字的第一特征值；所述第一尾指針集合中包括所述目標(biāo)文本中滿足預(yù)設(shè)類別的目標(biāo)分詞的尾字的第二特征值；

根據(jù)所述第一首指針集合中的所述第一特征值，以及所述第一尾指針集合中的所述第二特征值，從所述目標(biāo)文本中提取命名實(shí)體，并確定所述命名實(shí)體對(duì)應(yīng)的類別。

在一種可能的實(shí)施方式中，所述基于所述目標(biāo)文本對(duì)應(yīng)的第一文本矩陣，確定所述目標(biāo)文本對(duì)應(yīng)的第一首指針集合和第一尾指針集合，包括：

基于預(yù)先訓(xùn)練好的標(biāo)準(zhǔn)矩陣，對(duì)所述目標(biāo)文本對(duì)應(yīng)的第一文本矩陣進(jìn)行矩陣變換，得到所述目標(biāo)文本中每個(gè)字歸屬于所述預(yù)設(shè)類別的第一概率；

針對(duì)所述目標(biāo)文本中的每個(gè)字，根據(jù)該字歸屬于所述預(yù)設(shè)類別的第一概率，所述目標(biāo)文本中其他字歸屬于所述預(yù)設(shè)類別的第一概率，以及所述其他字與該字的位置關(guān)系，確定該字是否為滿足預(yù)設(shè)類別的目標(biāo)分詞的首字或者尾字；

根據(jù)該字是否為滿足預(yù)設(shè)類別的目標(biāo)分詞的首字或者尾字的判斷結(jié)果，以及每一個(gè)判斷結(jié)果對(duì)應(yīng)的特征值，生成所述目標(biāo)文本對(duì)應(yīng)的第一首指針集合和第一尾指針集合。

在一種可能的實(shí)施方式中，所述根據(jù)所述第一首指針集合中的所述第一特征值，以及所述第一尾指針集合中的所述第二特征值，從所述目標(biāo)文本中提取命名實(shí)體，并確定所述命名實(shí)體對(duì)應(yīng)的類別，包括：

針對(duì)所述第一首指針集合中的每個(gè)第一特征值，從所述第一尾指針集合中選取類別與該第一特征值的類別相一致，且與該第一特征值的位置關(guān)系滿足第一預(yù)設(shè)條件的第二特征值；

將該第一特征值與選取出的第二特征值對(duì)應(yīng)的分詞確定為所述目標(biāo)文本中的命名實(shí)體，并將該第一特征值的類別確定為所述命名實(shí)體的類別。