[發(fā)明專利]一種圖像中文字幕生成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201711260141.7
• 申請(qǐng)日: 2017-12-04
• 公開（公告）號(hào): CN107909115B
• 公開（公告）日: 2022-02-15
• 發(fā)明（設(shè)計(jì)）人: 王斌;王劍鋒;周小平;張倩;黃繼風(fēng)
• 申請(qǐng)（專利權(quán)）人: 上海師范大學(xué)
• 主分類號(hào): G06F40/289
• 分類號(hào): G06F40/289;G06F40/237;G06F40/216;G06N3/04;G06N3/08
• 代理公司: 上海宛林專利代理事務(wù)所(普通合伙) 31361
• 代理人: 張明

1.一種圖像中文字幕生成方法，其特征在于，包括以下步驟：

步驟一，構(gòu)建訓(xùn)練集：收集圖像并通過人工對(duì)所述圖像加上意思相近的中文描述；所述步驟一選用Flickr8k圖像字幕數(shù)據(jù)集，原數(shù)據(jù)集中每幅圖像對(duì)應(yīng)的標(biāo)注為5句英文，給每幅圖像添加了5句簡(jiǎn)單中文字幕的描述；

步驟二，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像特征提取，在對(duì)上述數(shù)據(jù)集進(jìn)行特征提取之前，需要在一個(gè)更大的數(shù)據(jù)集上來預(yù)訓(xùn)練該網(wǎng)絡(luò)；使用ImageNet數(shù)據(jù)庫來訓(xùn)練16層神經(jīng)網(wǎng)絡(luò)，其中前13層是卷積層，最后3層為全連接層，其中每個(gè)卷積層又包括卷積、激活、池化操作；每三層的卷積核數(shù)目分別是16、32、64、128、256，其初始化權(quán)值采用均值為0、方差為的高斯分布初始化，其中input_size代表該層輸入數(shù)據(jù)的維度；網(wǎng)絡(luò)的最后一層是SOFTMAX分類器，用來計(jì)算每幅訓(xùn)練圖像對(duì)應(yīng)每個(gè)類別的概率；每一層的激活函數(shù)均選用Relu函數(shù)，并且在最后三層后加上Dropout層；訓(xùn)練該卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)集采用ImageNet數(shù)據(jù)集，該數(shù)據(jù)集包括1000類別，每個(gè)類別包括數(shù)千張圖像；訓(xùn)練方法采用Adadelta梯度下降算法，按以下公式進(jìn)行網(wǎng)絡(luò)參數(shù)的更新：

w_t+1＝w_t+Δw_t (3)

其中，w_t代表第t次迭代的參數(shù)值，g代表它的梯度，E[g²]代表梯度g平方的移動(dòng)平均數(shù)，E[g²]_t代表第t次迭代梯度g平方的移動(dòng)平均數(shù)，α為計(jì)算該移動(dòng)平均數(shù)的系數(shù)，取0.99，Δw_t代表第t次迭代的參數(shù)變化值，η為學(xué)習(xí)速率取0.0001，ε在這里是一個(gè)很小的數(shù)防止分母為0；g_t為調(diào)制結(jié)構(gòu)，代表第t次迭代的梯度，訓(xùn)練時(shí)，待模型的損失函數(shù)變化不大時(shí)停止訓(xùn)練，并且在以后步驟中模型參數(shù)保持不變；最后利用模型的第二個(gè)全連接層的4096維輸出當(dāng)經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)提取的特征，用于后續(xù)字幕生成；

訓(xùn)練完成所述卷積神經(jīng)網(wǎng)絡(luò)后，對(duì)所述步驟一收集的所述圖像進(jìn)行正向傳播運(yùn)算，得到所述圖像的語義特征；

步驟三，對(duì)每一句所述中文描述按語義進(jìn)行分詞，并構(gòu)造中文字典；對(duì)所有中文描述分詞后，統(tǒng)計(jì)所有出現(xiàn)過的詞匯，并按照詞匯出現(xiàn)的頻率進(jìn)行排序，取前2000個(gè)詞匯以及未知詞匯標(biāo)記符UNK作為字典；

步驟四，訓(xùn)練循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行中文字幕生成；在傳統(tǒng)的LSTM網(wǎng)絡(luò)上，加入了Dropout層，該層與傳統(tǒng)的不同的是它在每一個(gè)時(shí)序周期是不變的，在不同的時(shí)序周期采用與傳統(tǒng)方式一樣隨機(jī)置0的方法，從而提升模型的泛化能力；LSTM的單元結(jié)構(gòu)有一個(gè)細(xì)胞狀態(tài)在時(shí)序之間傳遞，以及幾種不同的門Gates結(jié)構(gòu)去控制輸入，輸出以及細(xì)胞狀態(tài)；這些門結(jié)構(gòu)包括：輸入門i_t、輸出門o_t、忘記門f_t，以及輸入調(diào)制結(jié)構(gòu)g_t，在第t次迭代，LSTM網(wǎng)絡(luò)的細(xì)胞狀態(tài)c_t以及隱層輸出h_t通過下列式子求出：

i_t＝σ(W_ixx_t+W_ihh_t-1+b_i) (4)

f_t＝σ(W_fxx_t+W_fhh_t-1+b_f) (5)

o_t＝σ(W_oxx_t+W_ohh_t-1+b_o) (6)

g_t＝tanh(W_gxx_t+W_ghh_t-1+b_g) (7)

c_t＝f_t⊙c_t-1+i_t⊙g_t (8)

h_t＝o_t⊙tanh(c_t) (9)

其中，x_t為第t次迭代的輸入，h_t-1為t-1次迭代隱層單元的輸出，σ(x)＝1/(1+e^-x)是sigmoid函數(shù)，tanh(x)＝(e^x-e^(-x))/(e^x+e^(-x))是雙曲正切函數(shù)，W_ix、W_fx、W_ox、W_gx、W_ih、W_fh、W_oh、W_gh與b_i、b_f、b_o、b_g為該模型待學(xué)習(xí)的參數(shù)，它們不隨迭代次數(shù)t的變化而變化，符號(hào)⊙代表矩陣對(duì)應(yīng)元素相乘；接著，在每個(gè)隱層后加上一個(gè)Dropout層，構(gòu)建出一個(gè)Drop-LSTM網(wǎng)絡(luò)，即每一次迭代t將隱層輸出h_t乘以同一個(gè)與其形狀相同的0-1隨機(jī)矩陣：

h_t＝h_t⊙m_h

其中m_h代表隨機(jī)矩陣，該矩陣的產(chǎn)生方法通過讓其每個(gè)元素服從概率為p的0-1二元分布產(chǎn)生，p取0.5，m_h不會(huì)隨著迭代次數(shù)t變化而變化，在同一個(gè)時(shí)序中它是一個(gè)定值；最后，利用卷積神經(jīng)網(wǎng)絡(luò)提取的特征和對(duì)應(yīng)的中文描述序號(hào)矩陣當(dāng)作輸入，并按照上述訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的方法，訓(xùn)練該網(wǎng)絡(luò)，使其學(xué)會(huì)如何自動(dòng)生成字幕；

步驟五，進(jìn)行圖像字幕生成，在測(cè)試或使用階段，將待生成字幕的圖像依次通過所述卷積神經(jīng)網(wǎng)絡(luò)、所述循環(huán)神經(jīng)網(wǎng)絡(luò)完成其圖像字幕生成任務(wù)。