[發明專利]一種圖說生成方法及裝置

在審

• 申請號: 201710283733.4
• 申請日: 2017-04-26
• 公開（公告）號: CN108805260A
• 公開（公告）日: 2018-11-13
• 發明（設計）人: 黃歡;趙剛
• 申請（專利權）人: 上海荊虹電子科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06F17/27;G06F17/30;G06K9/62
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩

1.一種圖說生成方法，其特征在于，包括:

采用預先訓練的卷積神經網絡提取圖文數據庫中訓練集的圖像的全局特征；

對所述圖文數據庫中訓練集的圖像對應的描述語句進行編碼得到描述語句特征；

將所述訓練集的圖像的全局特征以及所述描述語句特征輸入至遞歸神經網絡，對所述遞歸神經網絡進行訓練；

根據所述遞歸神經網絡的輸出構建損失函數，根據所述損失函數對所述遞歸神經網絡的參數進行優化；

采用所述預先訓練的卷積神經網絡提取目標圖像的全局特征，將所述目標圖像的全局特征輸入至所述遞歸神經網絡，生成與所述目標圖像對應的描述語句。

2.根據權利要求1所述的方法，其特征在于，所述采用預先訓練的卷積神經網絡提取圖文數據庫中訓練集的圖像的全局特征，包括：

根據如下公式提取圖文數據庫中訓練集的圖像的全局特征：

v＝W_I·[Fc(I)]+b_I

其中，v表示圖像I的全局特征；W_I表示權重矩陣，b_I表示偏置；Fc(I)表示所述卷積神經網絡對所述圖像I處理后全連接層的輸出。

3.根據權利要求1所述的方法，其特征在于，對所述圖文數據庫中訓練集的圖像對應的描述語句進行編碼得到描述語句特征，包括：

根據如下公式獲取描述語句特征：

s_t＝W_s·w_t,t∈{1,2,…,T}

其中，s_t表示圖像I的描述語句特征；W_s表示權重矩陣；所述圖像I的描述語句S＝(w₁,w₂,…,w_T)，T為描述語句中單詞的個數；表示該描述語句的第i個單詞，N₀為所述圖文數據庫中的單詞總數；w_i為單詞one-hot向量。

4.根據權利要求1所述的方法，其特征在于，所述遞歸神經網絡為門控遞歸神經網絡GRU。

5.根據權利要求1所述的方法，其特征在于，所述根據所述遞歸神經網絡的輸出構建損失函數，包括：

對所述遞歸神經網絡的輸出進行歸一操作；

根據歸一操作結果構建損失函數；

所述損失函數的公式為：

其中，C(S,I；θ)表示通過參數為θ的遞歸神經網絡針對圖像I產生描述語句S的條件概率，λ_θ||θ||²是對所述遞歸神經網絡所有參數θ的正則約束；N表示所述圖文數據庫中訓練集的圖像的個數；T_i表示所述訓練集中的第i幅圖像對應的描述語句的長度；p_t,i表示所述訓練集中的第i幅圖像在t時刻產生單詞的概率。

6.根據權利要求1所述的方法，其特征在于，根據所述損失函數對所述遞歸神經網絡的參數進行優化，包括：

根據所述損失函數采用反時傳播BPTT算法對所述遞歸神經網絡的參數進行優化。

7.根據權利要求1所述的方法，其特征在于，所述方法還包括：

獲取生成的目標圖像對應的描述語句與參考描述語句的相關性。