[發明專利]一種基于BERT模型及文本-圖像關系傳播的多模態命名實體識別方法

在審

• 申請號: 202011642129.4
• 申請日: 2020-12-31
• 公開（公告）號: CN112733533A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 孫霖;王躋權;翁芳勝;孫宇軒;鄭增威
• 申請（專利權）人: 浙大城市學院
• 主分類號: G06F40/279
• 分類號: G06F40/279;G06K9/46;G06K9/62;G06N3/04;G06N3/08;G06N5/04
• 代理公司: 杭州九洲專利事務所有限公司 33101
• 代理人: 張羽振

1.一種基于BERT模型及文本-圖像關系傳播的多模態命名實體識別方法，其特征在于，包括以下步驟：

步驟1、設計RpBERT，RpBERT為基于文本-圖像關系傳播的多模態命名實體識別的BERT模型；

步驟1.1、RpBERT的輸入序列為：

上式中，T＝{w₁，...，w_n}表示語言特征序列；V＝{v₁，...，v_m}表示視覺特征序列；[CLS]表示文本-圖像關系分類，[SEP]表示文本和圖像特征之間的分離；

步驟1.2、由BERT標記器生成單詞標記序列，將一個未知單詞分解為多個單詞片段標記；

步驟1.3、將視覺特征表示為塊區域，視覺特征由ResNet從圖像中提取；

步驟1.4、將標記[CLS]的輸出作為文本-圖像關系分類中二進制分類器的輸入，并輸入到全連接層中；使用概率門G來產生概率[π₀，π₁]，則文本圖像得分被定義為陽性的概率為：

r＝π₁ (2)

使用相關分數來構造視覺掩模矩陣R：

文本-圖像關系通過R⊙V傳播到RpBERT，其中⊙是按元素的乘法；

步驟2、進行關系傳播；關系傳播包括軟關系傳播和硬關系傳播的兩種門控傳播；

步驟2.1、軟關系傳播：將概率門G的輸出視為連續分布，根據文本-圖像關系的強弱對視覺特征進行過濾，將概率門G定義為softmax函數：

G_s＝soffmax(x) (4)

步驟2.2、硬關系傳播；

步驟3、采用多任務學習方式為多模態命名實體識別訓練RpBERT。

2.根據權利要求1所述基于BERT模型及文本-圖像關系傳播的多模態命名實體識別方法，其特征在于，步驟2.2具體包括如下步驟：

步驟2.2.1、將概率門G的輸出視為絕對分布，將概率門G定義為：

G_h1＝[soffmax(x)＞0.5] (5)

上式中，[·]是艾弗森括號指示符函數，當其參數為真時取值1，否則取0；在概率門G為0時視覺功能被丟棄，或在概率門G為1時視覺功能被選擇；

步驟2.2.2、將概率門G定義為：

G_h2＝softmax((x+g)//τ) (6)

上式中，g是從耿貝爾分布采樣的噪聲，τ是溫度參數；在訓練階段，使用1到0.1的參數表對溫度τ進行退火。

3.根據權利要求1所述基于BERT模型及文本-圖像關系傳播的多模態命名實體識別方法，其特征在于，步驟3具體包括如下步驟：

步驟3.1、任務一：文本-圖像關系分類；使用彭博數據集的圖像任務分割進行文本-圖像關系分類，確定圖像的內容是否提供了文本之外的附加信息；設x_i為推文的文本圖像對，通過交叉熵計算二元關系分類的損失L：

上式中，p(x)是softmax計算的正確分類的概率；

步驟3.2、任務二：通過關系傳播的多模態命名實體識別。

4.根據權利要求3所述基于BERT模型及文本-圖像關系傳播的多模態命名實體識別方法，其特征在于，步驟3.2具體包括如下步驟：

步驟3.2.1、使用掩模矩陣R來控制加性視覺線索，RpBERT的輸入序列是[CLS]T[SEP]R⊙V，將輸出T表示為使用biLSTM-CRF模型作為基線模型，biLSTM-CRF模型由雙向LSTM和條件隨機場組成，biLSTM-CRF模型的輸入e_k是單詞和字符嵌入的串聯；CRF使用每個分詞的biLSTM隱藏向量用實體標簽標記序列；將連接作為biLSTM的輸入；biLSTM的輸入表示為：

步驟3.2.2、對于詞匯表外的單詞，對BERT標記化子詞的輸出進行平均；

步驟3.2.3、輸入隱藏的向量模型對于標簽序列，標簽序列y的概率為：

上式中，y為標簽序列，中Y為句子的所有標簽序列，s(H；y)是特征函數建模轉換；

步驟3.2.3、任務二計算最小化訓練數據的負對數似然：