[發(fā)明專利]一種基于CNN-LSTM的圖像字幕壓縮方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110257657.6
• 申請(qǐng)日: 2021-03-09
• 公開（公告）號(hào): CN113326840A
• 公開（公告）日: 2021-08-31
• 發(fā)明（設(shè)計(jì)）人: 王小華;令狐彬;焦璐璐;宋曉晨
• 申請(qǐng)（專利權(quán)）人: 山西三友和智慧信息技術(shù)股份有限公司
• 主分類號(hào): G06K9/32
• 分類號(hào): G06K9/32;G06F16/174;G06N3/04;G06N3/08
• 代理公司: 深圳科潤(rùn)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44724
• 代理人: 李小妮

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及一種基于CNN?LSTM的圖像字幕壓縮方法，包括如下步驟：數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、模型構(gòu)建、模型評(píng)價(jià)，所述數(shù)據(jù)采集下載公共數(shù)據(jù)集flickr8k，對(duì)獲取圖像進(jìn)行數(shù)據(jù)標(biāo)注，根據(jù)圖像內(nèi)容進(jìn)行描述，完成數(shù)據(jù)集構(gòu)建；所述數(shù)據(jù)預(yù)處理對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理，包括尺度縮放、數(shù)據(jù)歸一化和數(shù)據(jù)劃分三種方式；所述模型構(gòu)建采用CNN?LSTM模型用于數(shù)據(jù)訓(xùn)練，模型由編碼器VGG16和解碼器LSTM組成，編碼器獲取提取的特征，并使用特征來(lái)訓(xùn)練解碼器，同時(shí)將部分不太重要的權(quán)值進(jìn)行修剪，并將解碼器使用的LSTM模型進(jìn)行量化處理；所述模型評(píng)價(jià)當(dāng)模型的損失函數(shù)不再降低之后，保存模型，并進(jìn)行評(píng)價(jià)。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及一種基于CNN-LSTM的圖像字幕壓縮方法。

背景技術(shù)

現(xiàn)代神經(jīng)網(wǎng)絡(luò)在實(shí)現(xiàn)計(jì)算機(jī)視覺、自然語(yǔ)言處理和相關(guān)領(lǐng)域的任務(wù)具有最先進(jìn)的性能且表現(xiàn)突出，然而，這種復(fù)雜的網(wǎng)絡(luò)需要很大的計(jì)算空間，阻礙了它們?cè)诘凸囊苿?dòng)設(shè)備上的可移植性，并且由于現(xiàn)代移動(dòng)設(shè)備的外形輕盈，這進(jìn)一步限制了它們的功率和熱容量，進(jìn)一步阻礙了它們?cè)谫Y源有限的邊緣設(shè)備上的部署。

存在問(wèn)題或缺陷的原因：近年來(lái)，先進(jìn)的剪枝和量化算法在不影響網(wǎng)絡(luò)性能的情況下對(duì)此類網(wǎng)絡(luò)進(jìn)行壓縮方面獲得了良好的發(fā)展勢(shì)頭，修剪有助于減少對(duì)網(wǎng)絡(luò)性能變化不太敏感的參數(shù)，另一方面，量子化在網(wǎng)絡(luò)工作周期中以較低的位精度進(jìn)行計(jì)算，這兩種方法的協(xié)同使更快的推理時(shí)間和高效存儲(chǔ)大型和密集的神經(jīng)網(wǎng)絡(luò)，但如何將剪枝和量化方法與深度學(xué)習(xí)模型搭配使用仍然是當(dāng)前的難點(diǎn)。

發(fā)明內(nèi)容

針對(duì)上述神經(jīng)網(wǎng)絡(luò)圖像處理技術(shù)模型效率低等問(wèn)題，本發(fā)明提供了一種基于CNN-LSTM的圖像字幕壓縮方法。

為了解決上述技術(shù)問(wèn)題，本發(fā)明采用的技術(shù)方案為：

一種基于CNN-LSTM的圖像字幕壓縮方法，包括下列步驟：

S100、數(shù)據(jù)采集：下載公共數(shù)據(jù)集flickr8k，對(duì)獲取圖像進(jìn)行數(shù)據(jù)標(biāo)注，根據(jù)圖像內(nèi)容進(jìn)行描述，完成數(shù)據(jù)集構(gòu)建；

S200、數(shù)據(jù)預(yù)處理：對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理，包括尺度縮放、數(shù)據(jù)歸一化和數(shù)據(jù)劃分三種方式；

S300、模型構(gòu)建：采用CNN-LSTM模型用于數(shù)據(jù)訓(xùn)練，模型由編碼器VGG16和解碼器LSTM組成，編碼器獲取提取的特征，并使用特征來(lái)訓(xùn)練解碼器，同時(shí)將部分不太重要的權(quán)值進(jìn)行修剪，并將解碼器使用的LSTM模型進(jìn)行量化處理；

S400、模型評(píng)價(jià)：當(dāng)模型的損失函數(shù)不再降低之后，保存模型，并進(jìn)行評(píng)價(jià)。

所述S100數(shù)據(jù)采集中，公共數(shù)據(jù)集flickr8k數(shù)據(jù)集中包含8000張圖像，每張圖像都與五個(gè)不同的標(biāo)題進(jìn)行配對(duì)。

所述S200數(shù)據(jù)預(yù)處理中，所述尺度縮放將數(shù)據(jù)劃分后的所有數(shù)據(jù)進(jìn)行縮放，按其大小比例調(diào)整為統(tǒng)一尺寸；所述數(shù)據(jù)歸一化對(duì)所有數(shù)據(jù)進(jìn)行歸一化操作，方式為對(duì)每個(gè)像素點(diǎn)除以225，所述數(shù)據(jù)劃分使用交叉驗(yàn)證法將數(shù)據(jù)集進(jìn)行劃分，數(shù)據(jù)集隨機(jī)選取90％的樣本作為訓(xùn)練集，剩余10％的樣本作為測(cè)試集。

所述S300模型構(gòu)建中，編碼器VGG16從輸入圖像中提取有意義的特征，采用漸進(jìn)式存儲(chǔ)，將經(jīng)過(guò)修剪預(yù)先訓(xùn)練的VGG16模型所提取的特征分別存儲(chǔ)，然后將特征輸入解碼器中，修剪方式為將不太重要的權(quán)值進(jìn)行零屏蔽，相對(duì)于損失函數(shù)的梯度，修剪有不同的層次，一般從50％到95％不等，本模型中，第0個(gè)epoch數(shù)之后，權(quán)重值小于閾值的掩模被設(shè)置為零，公式為：其中t0是一個(gè)超參數(shù)；Si的下界通常為0％；sf的上界通常為50％到95％；二值掩模每Δt步更新一次，逐漸訓(xùn)練網(wǎng)絡(luò)以達(dá)到最終的稀疏級(jí)別；n表示epoch。