[發(fā)明專(zhuān)利]一種基于時(shí)空記憶注意力的圖像描述方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911384977.7
• 申請(qǐng)日: 2019-12-28
• 公開(kāi)（公告）號(hào): CN111144553B
• 公開(kāi)（公告）日: 2023-06-23
• 發(fā)明（設(shè)計(jì)）人: 徐騁;冀俊忠;張曉丹
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類(lèi)號(hào): G06N3/0442
• 分類(lèi)號(hào): G06N3/0442;G06N3/0464;G06N3/0455;G06N3/08
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11203
• 代理人: 沈波

1.一種基于時(shí)空記憶注意力的圖像描述方法，其特征在于：該方法包括如下步驟：

步驟(1)獲取MSCOCO圖像描述數(shù)據(jù)集并預(yù)處理；

步驟(2)構(gòu)建編碼器模型，對(duì)編碼器模型進(jìn)行預(yù)訓(xùn)練，完成MSCOCO圖像數(shù)據(jù)I的編碼，得到圖像特征V；

步驟(3)構(gòu)建解碼器，對(duì)圖像特征V進(jìn)行解碼；解碼器是一種三層的循環(huán)神經(jīng)網(wǎng)絡(luò)，包括兩層LSTM模型和一層STMA模型，輸入為圖像特征V，輸出為圖像描述結(jié)果Y,Y＝{y₀,y₁,…,y_T},T為描述的最長(zhǎng)時(shí)刻；

步驟(4)模型訓(xùn)練；基于產(chǎn)生的描述Y與標(biāo)準(zhǔn)的描述數(shù)據(jù)計(jì)算交叉熵?fù)p失或者強(qiáng)化學(xué)習(xí)梯度損失，使用隨機(jī)梯度下降算法對(duì)模型進(jìn)行優(yōu)化，得到最終模型；

步驟(3)中，步驟(3.1)構(gòu)建第一層解碼器LSTM模型；第一層解碼器LSTM模型在t時(shí)刻的輸入包括t時(shí)刻的詞編碼x_t，圖像的全局特征以及第三層解碼器LSTM模型在t-1時(shí)刻的輸出其中，詞編碼x_t由t-1時(shí)刻的解碼器最終的輸出y_t-1線(xiàn)性變換得到，初始為零向量；圖像的全局特征由圖像特征V平均池化得到；第一層解碼器LSTM模型在t時(shí)刻的輸出為

步驟(3.2)構(gòu)建第二層解碼器STMA模型；第二層解碼器STMA模型中的圖像記憶矩陣和輸出向量作為內(nèi)部循環(huán)變量不斷參與到模型的計(jì)算中；第二層解碼器STMA模型在t時(shí)刻的輸入包括圖像特征V和第一層解碼器LSTM模型在t時(shí)刻的輸出第二層解碼器STMA模型在t時(shí)刻的輸出為

步驟(3.3)構(gòu)建第三層解碼器LSTM模型；第三層解碼器LSTM模型在t時(shí)刻的輸入包括第一層解碼器LSTM模型的輸出和第二層解碼器STMA模型的輸出第三層解碼器LSTM模型在t時(shí)刻的輸出為

步驟(3.4)解碼器輸出；對(duì)第三層解碼器LSTM模型在t時(shí)刻的輸出進(jìn)行線(xiàn)性變換與Softmax函數(shù)分類(lèi)，得到最終整個(gè)解碼器在t時(shí)刻的輸出y_t，不同時(shí)刻的輸出組成最后的圖像描述結(jié)果Y。

2.根據(jù)權(quán)利要求1所述的一種基于時(shí)空記憶注意力的圖像描述方法，其特征在于：步驟(1)中，步驟(1.1)獲取MSCOCO圖像描述數(shù)據(jù)集，包含圖像數(shù)據(jù)I及其對(duì)應(yīng)的標(biāo)準(zhǔn)描述數(shù)據(jù)

步驟(1.2)對(duì)MSCOCO中的描述數(shù)據(jù)進(jìn)行預(yù)處理。

3.根據(jù)權(quán)利要求1所述的一種基于時(shí)空記憶注意力的圖像描述方法，其特征在于：步驟(2)中，步驟(2.1)采用深度卷積神經(jīng)網(wǎng)絡(luò)或目標(biāo)檢測(cè)模型構(gòu)建編碼器模型；

步驟(2.2)對(duì)構(gòu)建好的編碼器模型進(jìn)行預(yù)訓(xùn)練；

步驟(2.3)將MSCOCO圖像數(shù)據(jù)I輸入到編碼器中，完成圖像數(shù)據(jù)的分類(lèi)或目標(biāo)檢測(cè)任務(wù)，使用編碼器模型倒數(shù)第二層神經(jīng)網(wǎng)絡(luò)中的特征表示作為圖像編碼，最終得到編碼后的圖像特征V。