[發(fā)明專利]一種基于模板的多模態(tài)命名實體識別方法及相關設備

有效

• 申請?zhí)枺?/td>: 202210041501.9
• 申請日: 2022-01-14
• 公開（公告）號: CN114548067B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設計）人: 湯步洲;張?zhí)栧?/a>;趙曉雨
• 申請（專利權）人: 哈爾濱工業(yè)大學（深圳）
• 主分類號: G06F40/186
• 分類號: G06F40/186;G06F40/242;G06F40/295;G06F40/30;G06V30/40;G06V30/18;G06V30/19;G06N3/04;G06N3/08
• 代理公司: 深圳市君勝知識產(chǎn)權代理事務所(普通合伙) 44268
• 代理人: 陳專

本發(fā)明公開了一種基于模板的多模態(tài)命名實體識別方法及相關設備。本發(fā)明提供的基于模板的多模態(tài)命名實體識別方法，將命名實體識別問題轉(zhuǎn)換為文本生成問題，通過語義學習的方式使得神經(jīng)網(wǎng)絡模型能夠?qū)W習到多模態(tài)數(shù)據(jù)的語義與實體類型的語義相似性，提升命名實體識別的準確性。

技術領域

本發(fā)明涉及深度學習技術領域，特別涉及一種基于模板的多模態(tài)命名實體識別方法及相關設備。

背景技術

命名實體識別是識別文本中的命名實體的技術，命名實體識別是信息抽取的關鍵技術，對自然語言處理的下游任務具有重要意義。而現(xiàn)有的命名識別中還只限于僅采用文本提供的信息來進行命名實體識別，并且，現(xiàn)有的深度學習訓練中，從特定知識庫引入知識涉及的范圍相對有限，導致命名實體識別結(jié)果準確性不高。

因此，現(xiàn)有技術還有待改進和提高。

發(fā)明內(nèi)容

針對現(xiàn)有技術的上述缺陷，本發(fā)明提供一種基于模板的多模態(tài)命名實體識別方法，旨在解決現(xiàn)有技術中命名實體識別結(jié)果準確性不高的問題。

為了解決上述技術問題，本發(fā)明所采用的技術方案如下：

本發(fā)明的第一方面，提供一種基于模板的多模態(tài)命名實體識別方法，所述方法包括：

獲取待識別數(shù)據(jù)，所述待識別數(shù)據(jù)中包括待識別文本和所述待識別文本對應的待識別圖像，將所述待識別文本和所述待識別圖像輸入至預先訓練的神經(jīng)網(wǎng)絡模型，所述神經(jīng)網(wǎng)絡模型中包括第一文本特征提取模塊、視覺特征提取模塊、特征融合模塊、目標編碼模塊和目標解碼模塊；

將所述待識別文本輸入至所述第一文本特征提取模塊，通過所述文本特征提取模塊獲取所述輸入文本序列的第一文本特征，將所述第一文本特征和所述待識別圖像輸入至所述視覺特征提取模塊，獲取所述待識別圖像的視覺特征；

基于所述待識別文本生成多個候選文本，其中，所述候選文本的格式與預設模板一致，所述預設模板中包括實體片段、和實體片段對應的實體類型的語義文本；

將所述視覺特征和所述第一文本特征輸入至所述特征融合模塊，獲取多模態(tài)融合特征，將所述多模態(tài)融合特征和當前的輸入文本序列輸入至目標編碼模塊進行編碼，將所述目標編碼模塊的輸出輸入至所述目標解碼模塊，基于所述目標解碼模塊的輸出獲取預測詞，將所述預測詞與當前的所述輸入文本序列組合，生成新的所述輸入文本序列，重復執(zhí)行將所述多模態(tài)融合特征和當前的輸入文本序列輸入至所述目標解碼模塊進行編碼的步驟，直至生成預設結(jié)束字符或者生成的所述預測詞的總長度達到預設長度，將生成的所述預測詞組合得到所述候選文本對應的預測文本，其中，所述輸入文本序列的初始值為所述候選文本；

基于所述候選文本對應的所述預測文本對所述候選文本進行評價，基于每條所述候選文本對應的評價結(jié)果在所述多個候選文本中確定至少一個目標候選文本，根據(jù)所述目標候選文本對所述待識別文本進行命名實體標注；

其中，所述神經(jīng)網(wǎng)絡模型是基于多組訓練數(shù)據(jù)訓練完成的，每組訓練數(shù)據(jù)中包括樣本待識別數(shù)據(jù)和樣本待識別數(shù)據(jù)對應的樣本命名實體識別結(jié)果，每個所述樣本命名實體識別結(jié)果中包括至少一條樣本文本，每條樣本文本的格式與所述預設模板一致。

所述的基于模板的多模態(tài)命名實體識別方法，其中，所述將所述第一文本特征和所述待識別圖像輸入至所述視覺特征提取模塊，獲取所述待識別圖像的視覺特征，包括：

在所述視覺特征提取模塊中，采用以下公式計算得到所述待識別圖像的視覺特征在考慮文本影響下的注意力分數(shù)：

其中，S^intra表示所述待識別圖像的所述視覺特征考慮文本影響的注意力分數(shù)，表示所述第一文本特征，表示從所述待識別圖像提取的初始特征，K^intra、K^inter為所述視覺特征提取模塊的參數(shù)；