[發明專利]一種基于神經網絡及圖像關注點的圖像描述生成方法

有效

• 申請號: 201611169242.9
• 申請日: 2016-12-16
• 公開（公告）號: CN106777125B
• 公開（公告）日: 2020-10-23
• 發明（設計）人: 胡海峰;楊梁;王騰;張俊軒;王偉軒
• 申請（專利權）人: 廣東順德中山大學卡內基梅隆大學國際聯合研究院;中山大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

1.一種基于神經網絡及圖像關注點的圖像描述生成方法，其特征在于，包括以下步驟：

S1：構建每一時刻幀t的圖像的多模態模型：

1)訓練集中已標注圖像的文本描述信息分成單個字集，用one-hot向量表示對應字，作為模型的文本模塊的輸入，并經過兩個嵌入層投影至一個稠密字表達空間，成為具有語義的字表達向量W_t；

2)字表達向量用于循環卷積神經網絡RNN某時刻幀t的輸入，進行循環卷積神經網絡RNN計算，該時刻幀t的循環層激活Rt是由當前時刻幀的字表達向量和之前時刻幀t-1的循環層R_t-1共同決定的；

3)已標注圖像經過一個卷積神經網絡CNN，并提取圖像的L個顯著特征；

4)圖像的特征作為LSTM的輸入，LSTM中的隱藏層信息采取一種決策‘soft’關注機制可以獲得指定區域特征在全局圖像的重要程度，其重要程度和其特征通過求期望可以算出包含區域關注信息的上下文向量；

5)將以上的字表達向量、循環層信息、圖像特征和上下文向量通過轉換矩陣投影至同一維度的多模態空間上并直接元素相加，再用元素比例雙曲線正切函數激活，最后通過softmax層得到下一字的概率分布；

S2：對構建的模型進行訓練：整個模型的損失函數是對應圖片的文本標注的混亂度，其等價于字集的平均對數似然值，對其使用標準梯度下降算法，通過反向傳播算法學習模型參數。

2.根據權利要求1所述的基于神經網絡及圖像關注點的圖像描述生成方法，其特征在于，所述步驟1)中，用one-hot碼對子集編碼，相應位置置1，代表某一特定字，其余置0，通過兩個嵌入層可以將one-hot碼投影至一個稠密字表達空間，其能將字的句法和語義含義編碼出來，語義相關的字可以通過計算兩個稠密字向量的歐式距離找出，并且隨機初始化字嵌入層有更好的效果。

3.根據權利要求2所述的基于神經網絡及圖像關注點的圖像描述生成方法，其特征在于，所述步驟2)中，對于每一時刻幀的循環層R_t激活，是由當前時刻幀的字表達向量W_t和之前時刻幀t-1的循環層R_t-1共同決定的，首先將R_t-1轉換到和W_t相同向量空間上，并將它們相加：

R_t＝f₁(U_r·R_t-1+W_t)

其中，f₁設置為ReLU，U_r是投影轉換矩陣。

4.根據權利要求3所述的基于神經網絡及圖像關注點的圖像描述生成方法，其特征在于，所述步驟3)中，使用了AlexNet的7^th層的激活狀態，從低階卷積層中提取，從所有的特征向量中針對性地選取特征向量子集。

5.根據權利要求4所述的基于神經網絡及圖像關注點的圖像描述生成方法，其特征在于，所述步驟4)中，通過LSTM中隱藏層的信息，借助關注模型，得出相關關注區域的權重值，并用決策軟機制計算出帶有區域關注信息的上下文向量：

E_ti＝f_att(a_i,h_t-1)

其中f_att是基于先前隱藏狀態h_t-1的多層感知機，a_i是圖像i區域的特征向量，α_ti是t時刻幀和圖像區域i關注度的權重值：

其中z_t是t時刻幀的上下文相關向量，是決策軟機制，這里定義成如下式：