[發(fā)明專利]一種多級(jí)聯(lián)結(jié)循環(huán)神經(jīng)網(wǎng)絡(luò)的圖像描述方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201611155798.2
• 申請(qǐng)日: 2016-12-14
• 公開（公告）號(hào): CN106599198B
• 公開（公告）日: 2021-04-06
• 發(fā)明（設(shè)計(jì)）人: 胡海峰;吳捷;張俊軒;楊梁;王偉軒
• 申請(qǐng)（專利權(quán)）人: 廣東順德中山大學(xué)卡內(nèi)基梅隆大學(xué)國(guó)際聯(lián)合研究院;中山大學(xué)
• 主分類號(hào): G06F16/58
• 分類號(hào): G06F16/58;G06F16/51;G06N3/08
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 林麗明

本發(fā)明提供一種多級(jí)聯(lián)結(jié)循環(huán)神經(jīng)網(wǎng)絡(luò)的圖像描述方法，該方法從標(biāo)注語句訓(xùn)練集中構(gòu)建屬性詞匯表，采用VGGNet模型作為CNN模型，采用帶標(biāo)簽的數(shù)據(jù)集進(jìn)行CNN的參數(shù)訓(xùn)練與調(diào)整，輸入待描述的圖像，得到語義屬性預(yù)測(cè)概率，將圖像送入CNN網(wǎng)絡(luò)中提取出描述釋義向量并計(jì)算出每個(gè)釋義對(duì)應(yīng)的權(quán)重，再根據(jù)釋義向量以及其對(duì)應(yīng)權(quán)重計(jì)算出上下文向量，將語義屬性預(yù)測(cè)概率及上下文向量輸入到多級(jí)聯(lián)結(jié)的循環(huán)神經(jīng)網(wǎng)絡(luò)中，輸出的結(jié)果的組合即為該圖像的自然語言描述。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，更具體地，涉及一種多級(jí)聯(lián)結(jié)循環(huán)神經(jīng)網(wǎng)絡(luò)的圖像描述方法。

背景技術(shù)

目前科技與互聯(lián)網(wǎng)的迅猛發(fā)展使得圖像數(shù)據(jù)的數(shù)量大幅度地提升。同時(shí)，圖像信息提取的需求也日益提高。而根據(jù)圖像給出能夠描述圖像內(nèi)容的自然語言語句已經(jīng)計(jì)算機(jī)視覺領(lǐng)域一個(gè)研究熱點(diǎn)。

由計(jì)算機(jī)視覺技術(shù)以及自然語言處理技術(shù)的發(fā)展，圖像描述這個(gè)課題作為一個(gè)熱點(diǎn)已經(jīng)持續(xù)了幾年，很多方法都被提出。例如：基于局部區(qū)域特征的方法，基于多模態(tài)遞歸神經(jīng)網(wǎng)絡(luò)的方法以及基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的方法等。其中，基于CNN結(jié)合RNN的方法研究的成果最多，效果最好。然而，這些方法把圖像輸入CNN之后從CNN靠后的層中取出激活數(shù)據(jù)輸入到RNN中，而忽略了圖像的深層次的語義概念以及區(qū)域關(guān)注點(diǎn)信息。所以我們圖像描述研究將針對(duì)基于圖像高級(jí)語義及關(guān)注點(diǎn)機(jī)制的多級(jí)聯(lián)結(jié)循環(huán)神經(jīng)網(wǎng)絡(luò)的圖像描述方法以提取圖像深層次的語義概念以及區(qū)域關(guān)注點(diǎn)信息。

基于CNN結(jié)合RNN的方法的主要思想是：首先將圖像信息輸入到卷積神經(jīng)網(wǎng)絡(luò)中，從卷積神經(jīng)網(wǎng)絡(luò)的靠后的層提取激活數(shù)據(jù)；接下來將這些數(shù)據(jù)輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)中，通過最小化損失函數(shù)來輸出最有可能的圖像描述。很多學(xué)者在這個(gè)基礎(chǔ)上做出探索與改進(jìn)。Mao等人提出了一種多重循環(huán)神經(jīng)網(wǎng)絡(luò)(m-RNN)來用于圖像描述，網(wǎng)絡(luò)通過一個(gè)由單詞嵌入層，RNN網(wǎng)絡(luò)輸出層和CNN網(wǎng)絡(luò)輸出層組成的多模態(tài)層來提升輸出準(zhǔn)確度。Xu等人在語言模型部分用LSTM代替了傳統(tǒng)的RNN，并且將圖像的輸入方式由每一個(gè)時(shí)間點(diǎn)輸入改為了只在初始的時(shí)候輸入一次，減小了噪音干擾，提升了輸出效果。以上的方法都取得了不錯(cuò)的效果，但是現(xiàn)在的圖像描述研究經(jīng)常忽視了圖像深層次的語義概念以及區(qū)域的關(guān)注點(diǎn)信息。而這些信息對(duì)于提高圖像描述的輸出準(zhǔn)確率是有很大幫助的。

發(fā)明內(nèi)容

本發(fā)明提供一種具有描述準(zhǔn)確率高的多級(jí)聯(lián)結(jié)循環(huán)神經(jīng)網(wǎng)絡(luò)的圖像描述方法。

為了達(dá)到上述技術(shù)效果，本發(fā)明的技術(shù)方案如下：

一種多級(jí)聯(lián)結(jié)循環(huán)神經(jīng)網(wǎng)絡(luò)的圖像描述方法，包括以下步驟：

S1：從標(biāo)注語句訓(xùn)練集中提取語義屬性，構(gòu)建屬性詞匯表；

S2：采用VGGNet模型作為CNN初始模型，采用單標(biāo)簽的ImageNet數(shù)據(jù)集進(jìn)行CNN的參數(shù)預(yù)訓(xùn)練，然后再用多標(biāo)簽數(shù)據(jù)集MS COCO進(jìn)行CNN參數(shù)的精細(xì)調(diào)整；

S3：輸入待描述的圖像，將其分割成不同的區(qū)域，輸入到訓(xùn)練好的CNN中，將圖像信息表達(dá)成高等級(jí)的語義信息，得到語義屬性預(yù)測(cè)概率；

S4：將圖像送入CNN網(wǎng)絡(luò)中提取出描述不同區(qū)域的釋義向量；

S5：根據(jù)前一步系統(tǒng)的隱變量的信息計(jì)算出每個(gè)釋義對(duì)應(yīng)的權(quán)重，再根據(jù)釋義向量以及其對(duì)應(yīng)權(quán)重計(jì)算出上下文向量；

S6：將語義屬性預(yù)測(cè)概率及上下文向量輸入到多級(jí)聯(lián)結(jié)的循環(huán)神經(jīng)網(wǎng)絡(luò)中，輸出的結(jié)果的組合即為該圖像的自然語言描述。