[發(fā)明專利]一種基于模板的多模態(tài)命名實(shí)體識別方法及相關(guān)設(shè)備

有效

• 申請?zhí)枺?/td>: 202210041501.9
• 申請日: 2022-01-14
• 公開（公告）號: CN114548067B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 湯步洲;張?zhí)栧?/a>;趙曉雨
• 申請（專利權(quán)）人: 哈爾濱工業(yè)大學(xué)（深圳）
• 主分類號: G06F40/186
• 分類號: G06F40/186;G06F40/242;G06F40/295;G06F40/30;G06V30/40;G06V30/18;G06V30/19;G06N3/04;G06N3/08
• 代理公司: 深圳市君勝知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44268
• 代理人: 陳專

1.一種基于模板的多模態(tài)命名實(shí)體識別方法，其特征在于，所述方法包括：

獲取待識別數(shù)據(jù)，所述待識別數(shù)據(jù)中包括待識別文本和所述待識別文本對應(yīng)的待識別圖像，將所述待識別文本和所述待識別圖像輸入至預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，所述神經(jīng)網(wǎng)絡(luò)模型中包括第一文本特征提取模塊、視覺特征提取模塊、特征融合模塊、目標(biāo)編碼模塊和目標(biāo)解碼模塊；

將所述待識別文本輸入至所述第一文本特征提取模塊，通過所述文本特征提取模塊獲取輸入文本序列的第一文本特征，將所述第一文本特征和所述待識別圖像輸入至所述視覺特征提取模塊，獲取所述待識別圖像的視覺特征；

基于所述待識別文本生成多個(gè)候選文本，其中，所述候選文本的格式與預(yù)設(shè)模板一致，所述預(yù)設(shè)模板中包括實(shí)體片段、和實(shí)體片段對應(yīng)的實(shí)體類型的語義文本；

將所述視覺特征和所述第一文本特征輸入至所述特征融合模塊，獲取多模態(tài)融合特征，將所述多模態(tài)融合特征和當(dāng)前的輸入文本序列輸入至目標(biāo)編碼模塊進(jìn)行編碼，將所述目標(biāo)編碼模塊的輸出輸入至所述目標(biāo)解碼模塊，基于所述目標(biāo)解碼模塊的輸出獲取預(yù)測詞，將所述預(yù)測詞與當(dāng)前的所述輸入文本序列組合，生成新的所述輸入文本序列，重復(fù)執(zhí)行將所述多模態(tài)融合特征和當(dāng)前的輸入文本序列輸入至所述目標(biāo)解碼模塊進(jìn)行編碼的步驟，直至生成預(yù)設(shè)結(jié)束字符或者生成的所述預(yù)測詞的總長度達(dá)到預(yù)設(shè)長度，將生成的所述預(yù)測詞組合得到所述候選文本對應(yīng)的預(yù)測文本，其中，所述輸入文本序列的初始值為所述候選文本；

基于所述候選文本對應(yīng)的所述預(yù)測文本對所述候選文本進(jìn)行評價(jià)，基于每條所述候選文本對應(yīng)的評價(jià)結(jié)果在所述多個(gè)候選文本中確定至少一個(gè)目標(biāo)候選文本，根據(jù)所述目標(biāo)候選文本對所述待識別文本進(jìn)行命名實(shí)體標(biāo)注；

其中，所述神經(jīng)網(wǎng)絡(luò)模型是基于多組訓(xùn)練數(shù)據(jù)訓(xùn)練完成的，每組訓(xùn)練數(shù)據(jù)中包括樣本待識別數(shù)據(jù)和樣本待識別數(shù)據(jù)對應(yīng)的樣本命名實(shí)體識別結(jié)果，每個(gè)所述樣本命名實(shí)體識別結(jié)果中包括至少一條樣本文本，每條樣本文本的格式與所述預(yù)設(shè)模板一致；

所述將所述第一文本特征和所述待識別圖像輸入至所述視覺特征提取模塊，獲取所述待識別圖像的視覺特征，包括：

在所述視覺特征提取模塊中，采用以下公式計(jì)算得到所述待識別圖像的視覺特征在考慮文本影響下的注意力分?jǐn)?shù)：

其中,S^inter為所述待識別圖像的視覺特征在考慮文本影響下的注意力分?jǐn)?shù)，S^intra表示所述待識別圖像的視覺特征在考慮文本影響下的注意力分?jǐn)?shù)，表示所述第一文本特征，表示從所述待識別圖像提取的初始特征，K^intra、K^inter為所述視覺特征提取模塊的參數(shù)；

根據(jù)所述待識別圖像的視覺特征在考慮文本影響下的注意力分?jǐn)?shù)、和所述待識別圖像的所述初始特征獲取所述待識別圖像的視覺特征。

2.根據(jù)權(quán)利要求1所述的基于模板的多模態(tài)命名實(shí)體識別方法，其特征在于，所述目標(biāo)編碼模塊中包括至少一個(gè)多頭注意力機(jī)制層，所述將所述多模態(tài)融合特征和當(dāng)前的輸入文本序列輸入至目標(biāo)編碼模塊進(jìn)行編碼，包括：

將所述候選文本輸入至第二文本特征提取模塊，提取所述候選文本對應(yīng)的第二文本特征；

將所述第二文本特征作為注意力機(jī)制中的查詢向量，將所述視覺特征作為注意力機(jī)制中的鍵向量和值向量，執(zhí)行注意力機(jī)制進(jìn)行編碼。

3.根據(jù)權(quán)利要求1所述的基于模板的多模態(tài)命名實(shí)體識別方法，其特征在于，所述神經(jīng)網(wǎng)絡(luò)模型中還包括全連接層，所述基于所述目標(biāo)解碼模塊的輸出獲取預(yù)測詞，包括：

通過所述全連接層將所述目標(biāo)解碼模塊的輸出映射到詞典維度向量，得到預(yù)測詞。