[發(fā)明專利]基于配圖的命名實(shí)體識(shí)別方法、裝置以及設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202110014000.7
• 申請(qǐng)日: 2021-01-06
• 公開(kāi)（公告）號(hào): CN112329471B
• 公開(kāi)（公告）日: 2021-04-20
• 發(fā)明（設(shè)計(jì)）人: 李直旭;陳志剛;陳大偉;何瑩
• 申請(qǐng)（專利權(quán)）人: 科大訊飛（蘇州）科技有限公司
• 主分類號(hào): G06F40/295
• 分類號(hào): G06F40/295;G06K9/62
• 代理公司: 北京維澳專利代理有限公司 11252
• 代理人: 常小溪;王立民

本發(fā)明公開(kāi)了一種基于配圖的命名實(shí)體識(shí)別方法、裝置以及設(shè)備。本發(fā)明的構(gòu)思在于針對(duì)特定場(chǎng)景中輸入文本存在信息不足、形式不統(tǒng)一，使得文本中某些含義不明確的對(duì)象難以被識(shí)別的問(wèn)題，引入該場(chǎng)景所附帶圖像的屬性信息以及文本的深層信息以輔助命名實(shí)體識(shí)別處理，尤其地，本發(fā)明提出將圖像信息進(jìn)行文本層面轉(zhuǎn)化，使得圖像屬性與文本深層信息及文本基本信息能夠統(tǒng)一，這樣再將文本基本信息、深層信息、配圖屬性信息以及圖像基本信息進(jìn)行多模態(tài)綜合處理時(shí)，一方面可以彌補(bǔ)輸入文本信息不足的問(wèn)題，另一方面可以降低圖像和文本的空間異構(gòu)性，使得文本與圖像可以充分進(jìn)行深層次的交互和結(jié)合，從而能夠大幅提升該場(chǎng)景下命名實(shí)體的識(shí)別有效率和準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及知識(shí)圖譜領(lǐng)域，尤其涉及一種基于配圖的命名實(shí)體識(shí)別方法、裝置以及設(shè)備。

背景技術(shù)

命名實(shí)體識(shí)別（Named Entity Recognition，簡(jiǎn)稱NER）是信息抽取的關(guān)鍵技術(shù)，命名實(shí)體識(shí)別的主要任務(wù)是識(shí)別文本中具有特定意義的實(shí)體，主要包括人名、地名、機(jī)構(gòu)名、專有名詞等，實(shí)現(xiàn)過(guò)程通常是先確定出輸入文本中實(shí)體的邊界范圍，再確定實(shí)體的類型標(biāo)簽。

目前，對(duì)于語(yǔ)句結(jié)構(gòu)良好、上下文信息充足的文本，基于BiLSTM+CRF或者Bert+CRF等技術(shù)，已經(jīng)能夠取得令人滿意的實(shí)體識(shí)別結(jié)果了。然而，由于在一些特定的應(yīng)用領(lǐng)域，例如社交媒體領(lǐng)域，待處理文本存在文本簡(jiǎn)短、上下文不足、口語(yǔ)化、不正確拼寫(xiě)、縮寫(xiě)等特點(diǎn)，導(dǎo)致傳統(tǒng)的命名實(shí)體識(shí)別技術(shù)并不能取得足夠好的識(shí)別效果。

發(fā)明內(nèi)容

鑒于上述，本發(fā)明旨在提供一種基于配圖的命名實(shí)體識(shí)別方法、裝置以及設(shè)備，以及相應(yīng)地提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品，以解決某些特定應(yīng)用環(huán)境下命名實(shí)體識(shí)別效果差的問(wèn)題。

本發(fā)明采用的技術(shù)方案如下：

第一方面，本發(fā)明提供了一種基于配圖的命名實(shí)體識(shí)別方法，其中，包括：

根據(jù)預(yù)定策略，獲取待處理文本的深層信息以及所述待處理文本附帶的配圖的屬性信息，其中所述屬性信息以文本形式表征；

提取所述待處理文本的文本信息以及所述配圖的視覺(jué)信息；

結(jié)合所述文本信息、所述深層信息、所述屬性信息以及所述視覺(jué)信息進(jìn)行命名實(shí)體識(shí)別處理，得到所述待處理文本的實(shí)體類型序列。

在其中至少一種可能的實(shí)現(xiàn)方式中，所述根據(jù)預(yù)定策略，獲取待處理文本的深層信息包括：

根據(jù)預(yù)先構(gòu)建的多模態(tài)知識(shí)圖譜，獲取待處理文本的實(shí)體知識(shí)信息，其中，所述多模態(tài)知識(shí)圖譜包括若干實(shí)體以及與實(shí)體相關(guān)聯(lián)的圖片。

在其中至少一種可能的實(shí)現(xiàn)方式中，所述根據(jù)預(yù)先構(gòu)建的多模態(tài)知識(shí)圖譜，獲取待處理文本的實(shí)體知識(shí)信息包括：

利用所述多模態(tài)知識(shí)圖譜，匹配出待處理文本的若干個(gè)候選實(shí)體；

利用所述配圖以及與所述候選實(shí)體相關(guān)聯(lián)的圖片，從所述候選實(shí)體中篩選出目標(biāo)實(shí)體；

從所述多模態(tài)知識(shí)圖譜中獲取所述目標(biāo)實(shí)體的若干知識(shí)作為待處理文本的實(shí)體知識(shí)信息。

在其中至少一種可能的實(shí)現(xiàn)方式中，所述利用所述多模態(tài)知識(shí)圖譜，匹配出待處理文本的若干個(gè)候選實(shí)體包括：

預(yù)先構(gòu)建相應(yīng)于所述多模態(tài)知識(shí)圖譜中的實(shí)體的別名表；

利用所述待處理文本與所述多模態(tài)知識(shí)圖譜中的實(shí)體名稱以及所述別名表進(jìn)行匹配；

將符合預(yù)設(shè)匹配標(biāo)準(zhǔn)的所述多模態(tài)知識(shí)圖譜中的實(shí)體及其一跳或多跳實(shí)體構(gòu)建為候選實(shí)體集。

在其中至少一種可能的實(shí)現(xiàn)方式中，獲取待處理文本附帶的配圖的屬性信息包括：基于圖像分類策略，獲得以文本形式表達(dá)的所述配圖的類型信息。