[發明專利]一種基于生成對抗網絡的圖像描述文本生成方法

有效

• 申請號: 202110206288.8
• 申請日: 2021-02-24
• 公開（公告）號: CN112818159B
• 公開（公告）日: 2022-10-18
• 發明（設計）人: 陸佳妮;程帆
• 申請（專利權）人: 上海交通大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F40/126;G06F40/194;G06F40/242;G06N3/04;G06N3/08
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 楊宏泰

1.一種基于生成對抗網絡的圖像描述文本生成方法，其特征在于，包括以下步驟：

1)構建用以實現對圖像進行特征提取的編碼器，所述的編碼器為基于ResNet-101的Faster R-CNN模型，對于給定的一張圖像，編碼器從該圖像中檢測到的n個物體，將圖像編碼為n個目標區域的特征集合V＝{v₁,…v_i…,v_n}，其中，v_i為目標選區i經過平均池化層后的特征向量；

2)對文本進行詞嵌入，并構建用以生成圖像描述文本的解碼器，解碼器由一個雙層的長短期記憶神經網絡模型和兩個注意力模塊組成，具體包括作為第一層的注意力生成LSTM層、作為第二層的語言生成LSTM層以及設置在注意力生成LSTM層與語言生成LSTM層之間的兩個用以生成視覺哨兵向量的自適應注意力模塊，

所述的注意力生成LSTM層的輸入向量包括圖像I的特征表示輸入詞w_t的詞嵌入表示W_eΠ_t以及語言生成LSTM層在t-1步的隱藏層狀態圖像I的特征表示為編碼器輸出的特征集合V中元素的均值，輸入詞w_t的詞嵌入表示W_eΠ_t為GloVe的模型在詞典Σ上的詞嵌入矩陣W_e和輸入詞w_t的獨熱編碼Π_t的乘積W_eΠ_t，則有在第t步時，注意力生成LSTM層的隱藏層狀態更新公式為輸出為第一視覺哨兵向量第二視覺哨兵向量以及注意力生成LSTM層在第t步的隱藏層狀態

所述的自適應注意力模塊包括用以生成語境向量c_t的第一自適應注意力模塊以及用以生成目標區域集合轉移信號δ_t的第二自適應注意力模塊，所述的第一自適應注意力模塊以第一視覺哨兵向量和特征集合為輸入，所述的第二自適應注意力模塊以第二視覺哨兵向量和特征集合為輸入，所述的特征集合v_t為目標區域集合r_t的特征集合，目標區域集合r_t為集合R＝{r₁,…,r_N}中的指針在第t步指向的元素，指針由目標區域集合轉移信號δ_t控制，則目標區域集合r_t的表達式為：

其中，k為解碼器的步數，第0步的目標區域集合轉移信號δ₀默認值為0，N為集合R的大小，即包含目標區域集合r_i的個數；

第一視覺哨兵向量由注意力生成LSTM層根據輸入向量前一步的隱藏層狀態以及此刻內部的存儲單元狀態計算得到，則有：

其中，W_ic和W_hc為模型需要學習的參數，⊙表示元素乘積，σ(·)表示Sigmoid函數，α_t為在特征集合v_t上的注意力權重分布，則有：

其中，為一個行向量，其與W_sr、W_sc、W_g均為模型需要學習的參數，是元素值全為1的向量，k為目標區域集合r_t中目標區域的數量，語境向量c_t表示此時模型應該關注的區域的特征表示，作為語言生成LSTM層的輸入之一；

第二自適應注意力模塊的輸入為特征集合v_t以及注意力生成LSTM層輸出的視覺哨兵向量則有：

其中，W_iδ和W_hδ為模型需要學習的權重參數，從一個目標區域集合轉移到另一個目標區域集合(δ_t＝1)的概率被定義為在視覺哨兵向量和目標區域集合r_t上注意到的概率，則有：

其中，為向量中的第i個元素，W_*為模型需要學習的權重參數；

所述的語言生成LSTM層以注意力生成LSTM層當前的隱藏層狀態和語境向量c_t為輸入，輸出為生成詞y_t的概率分布，語言生成LSTM層在第t步的隱藏層狀態更新為：

則語言生成LSTM層輸出詞y_t的概率分布為：

其中，y_1:t-1表示y₁,…,y_t-1，W_o為模型需要學習的權重參數；

3)根據極大似然估計對由編碼器和解碼器共同構成的生成器進行預訓練，采用計劃采樣的方法對生成器進行預訓練，在訓練過程中，生成器的預訓練目標為最小化損失函數，生成器的損失函數L_G(θ)由預測出的生成詞y_t與真實的詞之間的交叉熵損失L_w(θ)以及預測出的目標區域集合轉移信號δ_i與真實值之間的交叉熵損失L_δ(θ)這兩部分構成，則有：

L_G(θ)＝λ_wL_w(θ)+λ_δL_δ(θ)

其中，λ_w、λ_δ為權重取值；

4)構建基于卷積神經網絡的判別器并進行訓練，以生成器生成的文本、真實的文本以及真實的圖像的拼接向量作為判別器的輸入，并引入高速網絡提升性能具體為：

所述的判別器基于卷積神經網絡，輸入為圖像I的特征表示和完整的描述語句{w₁,…,w_T}的詞嵌入的拼接ε，則有：

其中，為水平拼接操作，為編碼器輸出的特征集合V中元素的均值，為普通的詞嵌入矩陣，Π_i為輸入詞w_i的獨熱編碼，采用大小為d×l的卷積核后得到特征向量c＝[c₁,c₂,…,c_T-l+2]，其中c_i＝ReLU(κ*ε_i:i+l-1+b)，使用基于時間的最大池化層得到在最終的全連接層前加入高速網絡結構，則有：

其中，W_T、W_H為高速網絡的權重，b_T、b_H為高速網絡的偏差，⊙為分段乘積操作，最終，使用一個全連接層和Sigmoid操作得到概率值p，表示給定圖像I的情況下，一段話是正確文本的概率p，則有：

其中，W_o和b_o分別為輸出層的權重和方差；

5)共同訓練生成器與判別器，具體包括以下步驟：

51)根據訓練集中給出的圖像I以及預訓練后的生成器G_θ生成的文本y_1:T構成圖像文本對{(I,y_1:T)}；

52)采用預訓練后的判別器D_φ對生成的文本進行評分，并采用評分p∈[0,1]表示這些文本是真實文本的概率；

53)通過客觀指標評價模塊得到對生成的文本的評分s，所述的客觀指標評價模塊采用CIDEr-D作為客觀評價指標；

54)結合評分p和評分s給出獎勵值r＝λ·p+(1-λ)·s，λ為可調的超參數；

55)采用REINFORCE強化學習算法更新生成器的參數θ，并采用獎勵值r作為收益，基線算法選擇用貪婪算法生成的文本序列，具體為：

解碼器根據當前模型的參數θ，與圖像特征、當前的文本特征、區域集合交互，生成下一個詞，采用步驟54)的獎勵值r作為收益，記作r_C(·)，強化學習優化的目標為最小化負的收益函數的期望，梯度函數為：

其中，為抽樣出的一個樣本，用于近似y_1:T，為抽樣出的一個樣本，用于近似δ_1:T，基線收益函數b選擇的是貪婪算法生成的文本序列的收益

56)根據訓練集中給出的圖像I，更新參數后的生成器G_θ重新生成文本y_1:T；

57)根據訓練集中給出的圖像I，判別器的損失函數考慮三類文本，即與圖像I相關的正確真實文本生成器生成的文本y_1:T以及與I無關的錯誤真實文本更新判別器的參數φ，判別器參數更新時的損失函數為：

58)返回步驟51)，繼續下一次生成對抗網絡的過程，直到生成器和判別器收斂；

6)將待生成描述文本的測試圖像數據輸入訓練好的生成器中，輸出生成的描述文本。