[發(fā)明專利]基于卷積神經(jīng)網(wǎng)絡(luò)的圖像描述方法、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)、電子設(shè)備

有效

• 申請?zhí)枺?/td>: 201910393359.2
• 申請日: 2019-05-13
• 公開（公告）號(hào): CN110288665B
• 公開（公告）日: 2021-01-15
• 發(fā)明（設(shè)計(jì)）人: 鄭向濤;盧孝強(qiáng);吳思遠(yuǎn)
• 申請（專利權(quán)）人: 中國科學(xué)院西安光學(xué)精密機(jī)械研究所
• 主分類號(hào): G06T9/00
• 分類號(hào): G06T9/00;G06N3/04;G06N3/08
• 代理公司: 西安智邦專利商標(biāo)代理有限公司 61211
• 代理人: 鄭麗紅

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像描述方法，其特征在于，包括以下步驟：

1)將卷積神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)集ImageNet預(yù)訓(xùn)練好；

2)利用步驟1)預(yù)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)提取圖像的全局特征和局部特征，然后將圖像的全局特征和局部特征投影到多模態(tài)映射空間中，得到多模態(tài)映射空間下的圖像表達(dá)v′_i，所述圖像包括訓(xùn)練集圖像和測試集圖像；

3)對步驟2)中多模態(tài)映射空間下的圖像表達(dá)進(jìn)行卷積編碼，得到圖像編碼信息c_I；

c_I＝[c_I1,c_I2,…,c_Im]＝CNN[v′_i]＝CNN[v′₁,v′₂,…,v′_m]

4)單詞特征表達(dá)；

給定步驟2)中圖像對應(yīng)的描述語句，對描述語句的單詞進(jìn)行特征表達(dá)，然后經(jīng)過映射矩陣將其投影到多模態(tài)映射空間中，得到描述語句中每個(gè)單詞的特征表達(dá)；

s_t＝W_s·w_t,t∈{1,2,…,N}

其中，s_t是語句中第t個(gè)單詞的特征表達(dá)，w_t是原始描述語句的表示向量，W_s是文本的映射矩陣；

5)對步驟4)的描述語句進(jìn)行卷積編碼，得到相應(yīng)文本編碼信息c_s；

c_s＝[c_s1,c_s2,…,c_sT]＝CNN[s_t]＝CNN[s₁,s₂,…,s_T]

6)計(jì)算注意力，得到輸入圖像對應(yīng)生成單詞的概率；

6.1)將解碼器的隱層狀態(tài)h^l和步驟5)中文本編碼信息c_s通過解碼器加權(quán)，得到單詞的解碼向量，然后通過解碼向量和步驟3)中的圖像編碼c_I做內(nèi)積，計(jì)算注意力權(quán)重，計(jì)算公式如下：

其中，表示注意力權(quán)重，是第l層的第i個(gè)隱層狀態(tài)，c_si是第i個(gè)單詞編碼，c_Ij是第j個(gè)圖像編碼，表示第i個(gè)單詞的解碼向量，和是解碼器的加權(quán)參數(shù)和偏移參數(shù)；

6.2)將步驟6.1)得到注意力權(quán)重與步驟3)得到的圖像信息編碼加權(quán)求和，得到基于注意力加權(quán)的圖像信息編碼；

其中，是基于注意力加權(quán)的圖像信息編碼，v_j是第j個(gè)圖像特征；

6.3)將步驟6.1)得到注意力權(quán)重與步驟5)得到的文本信息編碼加權(quán)求和，得到基于注意力加權(quán)的文本信息編碼；

假定解碼CNN的深度為L，每一層的隱層狀態(tài)可表示為：

h⁰＝c_s+c_I

其中，h^l是第l層的隱層狀態(tài)，輸入層h⁰是圖像編碼和單詞編碼加權(quán)；

編碼器隱層狀態(tài)更新，利用步驟6.2)中計(jì)算得到的經(jīng)注意力機(jī)制后的圖像信息對編碼器隱層狀態(tài)進(jìn)行更新，更新公式為：

6.4)根據(jù)步驟6.2)的圖像信息編碼和步驟6.3)的文本信息編碼，計(jì)算輸入圖像對應(yīng)生成單詞的概率；

解碼網(wǎng)絡(luò)的隱層輸出h^L，計(jì)算每次生成單詞的概率p_j+1：

(w_j+1|w_0:j,I；θ)～p_j+1

其中，W_p是加權(quán)矩陣，b_p是偏移量，θ表示設(shè)計(jì)網(wǎng)絡(luò)中的所有參數(shù)，條件概率(w_j+1|w_0:j,I；θ)表示已知前j個(gè)單詞情況下第j+1單詞出現(xiàn)的概率；

7)構(gòu)建輸入輸出之間的目標(biāo)損失函數(shù)，利用損失函數(shù)進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，得到神經(jīng)網(wǎng)絡(luò)的位置參數(shù)；

7.1)利用步驟6.4)得到的單詞概率構(gòu)建輸入圖像和輸出單詞之間損失函數(shù)；

其中，條件概率P(S|I；θ)表示已知圖像I情況下，語句S出現(xiàn)的概率，

7.2)使步驟7.1)的損失函數(shù)達(dá)到最小，初始化網(wǎng)絡(luò)參數(shù)，通過優(yōu)化算法迭代θ，得到最優(yōu)的網(wǎng)絡(luò)參數(shù)，完成神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程；

8)將測試圖像輸入至步驟7)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，得到測試圖片對應(yīng)的描述性自然語句。