[發(fā)明專利]基于配圖的命名實(shí)體識(shí)別方法、裝置以及設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202110014000.7
• 申請(qǐng)日: 2021-01-06
• 公開(kāi)（公告）號(hào): CN112329471B
• 公開(kāi)（公告）日: 2021-04-20
• 發(fā)明（設(shè)計(jì)）人: 李直旭;陳志剛;陳大偉;何瑩
• 申請(qǐng)（專利權(quán)）人: 科大訊飛（蘇州）科技有限公司
• 主分類(lèi)號(hào): G06F40/295
• 分類(lèi)號(hào): G06F40/295;G06K9/62
• 代理公司: 北京維澳專利代理有限公司 11252
• 代理人: 常小溪;王立民

1.一種基于配圖的命名實(shí)體識(shí)別方法，其特征在于，包括：

根據(jù)預(yù)定策略，獲取待處理文本的深層信息以及所述待處理文本附帶的配圖的屬性信息，其中所述屬性信息以文本形式表征，獲取所述屬性信息包括：基于圖像分類(lèi)策略，獲得以文本形式表達(dá)的所述配圖的類(lèi)型信息；所述獲取待處理文本的深層信息包括：根據(jù)預(yù)先構(gòu)建的多模態(tài)知識(shí)圖譜，獲取待處理文本的實(shí)體知識(shí)信息，其中，所述多模態(tài)知識(shí)圖譜包括若干實(shí)體以及與實(shí)體相關(guān)聯(lián)的圖片；

提取所述待處理文本的文本信息以及所述配圖的視覺(jué)信息；

結(jié)合所述文本信息、所述深層信息、所述屬性信息以及所述視覺(jué)信息進(jìn)行命名實(shí)體識(shí)別處理，得到所述待處理文本的實(shí)體類(lèi)型序列。

2.根據(jù)權(quán)利要求1所述的命名實(shí)體識(shí)別方法，其特征在于，所述根據(jù)預(yù)先構(gòu)建的多模態(tài)知識(shí)圖譜，獲取待處理文本的實(shí)體知識(shí)信息包括：

利用所述多模態(tài)知識(shí)圖譜，匹配出待處理文本的若干個(gè)候選實(shí)體；

利用所述配圖以及與所述候選實(shí)體相關(guān)聯(lián)的圖片，從所述候選實(shí)體中篩選出目標(biāo)實(shí)體；

從所述多模態(tài)知識(shí)圖譜中獲取所述目標(biāo)實(shí)體的若干知識(shí)作為待處理文本的實(shí)體知識(shí)信息。

3.根據(jù)權(quán)利要求2所述的命名實(shí)體識(shí)別方法，其特征在于，所述利用所述多模態(tài)知識(shí)圖譜，匹配出待處理文本的若干個(gè)候選實(shí)體包括：

預(yù)先構(gòu)建相應(yīng)于所述多模態(tài)知識(shí)圖譜中的實(shí)體的別名表；

利用所述待處理文本與所述多模態(tài)知識(shí)圖譜中的實(shí)體名稱以及所述別名表進(jìn)行匹配；

將符合預(yù)設(shè)匹配標(biāo)準(zhǔn)的所述多模態(tài)知識(shí)圖譜中的實(shí)體及其一跳或多跳實(shí)體構(gòu)建為候選實(shí)體集。

4.根據(jù)權(quán)利要求1~3任一項(xiàng)所述的命名實(shí)體識(shí)別方法，其特征在于，所述結(jié)合所述文本信息、所述深層信息、所述屬性信息以及所述視覺(jué)信息進(jìn)行命名實(shí)體識(shí)別處理包括：

根據(jù)待處理文本中的字符單元的文本信息、所述深層信息以及所述配圖的屬性信息，求取所述字符單元的文本上下文表示；

根據(jù)所述文本上下文表示以及所述視覺(jué)信息，求取所述字符單元的視覺(jué)上下文表示；

將所述字符單元的文本信息、所述文本上下文表示以及所述視覺(jué)上下文表示進(jìn)行融合，得到所述字符單元的綜合表示；

根據(jù)所述綜合表示，對(duì)所述字符單元進(jìn)行實(shí)體類(lèi)型標(biāo)注。

5.根據(jù)權(quán)利要求4所述的命名實(shí)體識(shí)別方法，其特征在于，所述結(jié)合所述文本信息、所述深層信息、所述屬性信息以及所述視覺(jué)信息進(jìn)行命名實(shí)體識(shí)別處理具體包括：

結(jié)合待處理文本、所述深層信息以及所述屬性信息，對(duì)字符單元進(jìn)行注意力計(jì)算，求得目標(biāo)字符單元與其他字符單元之間的第一關(guān)聯(lián)度；

利用所述視覺(jué)信息以及所述第一關(guān)聯(lián)度再次進(jìn)行注意力計(jì)算，得到融入圖像信息的第二關(guān)聯(lián)度；

動(dòng)態(tài)結(jié)合所述第一關(guān)聯(lián)度以及所述第二關(guān)聯(lián)度，得到目標(biāo)字符單元的多模態(tài)上下文表示；

將所述多模態(tài)上下文與目標(biāo)字符單元的文本信息融合后得到目標(biāo)字符單元的綜合表示；

利用所述綜合表示識(shí)別出目標(biāo)字符單元的實(shí)體類(lèi)型。

6.一種基于配圖的命名實(shí)體識(shí)別裝置，其特征在于，包括：

文本級(jí)輔助信息獲取模塊，用于根據(jù)預(yù)定策略，獲取待處理文本的深層信息以及所述待處理文本附帶的配圖的屬性信息，其中所述屬性信息以文本形式表征，獲取所述屬性信息包括：基于圖像分類(lèi)策略，獲得以文本形式表達(dá)的所述配圖的類(lèi)型信息；所述獲取待處理文本的深層信息包括：根據(jù)預(yù)先構(gòu)建的多模態(tài)知識(shí)圖譜，獲取待處理文本的實(shí)體知識(shí)信息，其中，所述多模態(tài)知識(shí)圖譜包括若干實(shí)體以及與實(shí)體相關(guān)聯(lián)的圖片；

基本信息提取模塊，用于提取所述待處理文本的文本信息以及所述配圖的視覺(jué)信息；

命名實(shí)體識(shí)別模塊，用于結(jié)合所述文本信息、所述深層信息、所述屬性信息以及所述視覺(jué)信息進(jìn)行命名實(shí)體識(shí)別處理，得到所述待處理文本的實(shí)體類(lèi)型序列。