[發明專利]一種基于視覺嵌入和條件歸一化的圖像描述方法

有效

• 申請號: 202110292545.4
• 申請日: 2021-03-18
• 公開（公告）號: CN113139378B
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 張旻;李鵬飛;林培捷;湯景凡;姜明
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06F40/258
• 分類號: G06F40/258;G06V10/40;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種基于視覺嵌入和條件歸一化的圖像描述方法，其特征在于包括以下步驟：

步驟(1)使用目標檢測方法Faster RCNN對圖像進行目標檢測，將目標檢測結果作為圖像的關鍵詞集合，將關鍵詞集合和MSCOCO中圖像的文本序列組成輸入序列，構建關鍵詞嵌入模塊KEM；

步驟(2)使用預訓練的圖像特征提取模型ResNet對圖像進行特征提取，將所提取的特征進行編碼，將編碼結果通過條件嵌入的方式輸入到預訓練語言模型；該步驟中所提到的操作被稱為視覺嵌入模塊VEM；

步驟(3)使用transformer模型作為基干網絡，LN層已有現成的、無條件的g和b，且g和b用于對特征施加增益和偏置操作時，都是固定長度的向量；通過視覺嵌入網絡VEM將圖像編碼為g′，b′；g′，b′跟g，b具有相同的維度，將VEM的編碼結果g′，b′分別加到g和b上去，構建條件歸一化層LN；

步驟(4)將KEM和VEM的編碼結果分別作為transformer模型的序列輸入和條件嵌入，用條件歸一化的LN替換transformer中所有的LN層，構建V-CLTM模型；

步驟(5)對V-CLTM模型在MSCOCO數據集上進行訓練，挑選最優訓練模型；將圖片輸入訓練好的V-CLTM模型，輸出對應的圖像字幕；

所述步驟(4)具體實現過程如下：

4-1將KEM作為transformer模型輸入，VEM的結果作為transformer模型的條件輸入，將條件歸一化LN層替換transformer的所有的LN層；

4-2將4-1中KEM、VEM以及加入條件歸一化LN層的transformer模型，構建V-CLTM模型。

2.根據權利要求1所述的一種基于視覺嵌入和條件歸一化的圖像描述方法，其特征在于所述步驟(1)具體實現過程如下：

1-1使用在Visual Genome數據集上預訓練的Faster RCNN對圖像進行目標提取；Faster RCNN能夠獲得目標類別以及相應目標在圖像中的區域；為了用于圖像標題生成任務，取模型最終類別輸出并得到關鍵詞集合W＝{w₁，w₂，...，w_s}；其中，w_s是通過目標檢測算法對圖像提取的類別如公式(1)所示；

W＝Faster RCNN (I) (1)

1-2獲取關鍵詞集W后，將W中的關鍵詞和特殊字符組合成序列S；三個特殊標記分別為：[CLS]、[SEP]和[STOP]；其中，[CLS]放在第一個關鍵字之前，[SEP]用于分開兩個輸入句子，[STOP]放在句子結束，表示句子結束；

1-3訓練階段序列S和MSCOCO數據集中圖像描述的序列S′進行組合成最終輸入序列若N為輸入序列的最終序列長度，則的維度為768*N。

3.根據權利要求2所述的一種基于視覺嵌入和條件歸一化的圖像描述方法，其特征在于所述步驟(2)具體實現過程如下：

2-1基干網絡使用在ImageNet上預訓練的ResNet模型，獲得對應圖像I的圖像特征I_resnet，其維度為2048維，如公式(2)所示；

I_resnet＝ResNet (I) (2)

2-2將圖像特征I_resnet經過兩層512維的全連接操作以及兩層ReLU激活函數，然后分別通過512維的全連接進行輸出，最終表達如公式(3)(4)所示；

g′＝f_VEM(I_resnet) (3)

b′＝f_VEM(I_resnet) (4)

其中，f_VEM代表圖像特征I_resnet的編碼過程。