[發(fā)明專利]一種基于卷積自編碼器的圖像增強(qiáng)方法

在審

• 申請?zhí)枺?/td>: 201910182556.X
• 申請日: 2019-03-12
• 公開（公告）號: CN110070498A
• 公開（公告）日: 2019-07-30
• 發(fā)明（設(shè)計）人: 趙澄;童川;王萬良;楊小涵
• 申請（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 杭州天正專利事務(wù)所有限公司 33201
• 代理人: 王兵;黃美娟

一種基于卷積自編碼器的圖像增強(qiáng)方法，包括：將原圖像處理成為低光圖像，在圖像預(yù)處理成為低光圖像時加入噪聲來進(jìn)行網(wǎng)絡(luò)的增亮和去噪的訓(xùn)練；將低光圖像進(jìn)行卷積編碼操作，得到壓縮特征圖，并進(jìn)行池化操作；將得到的壓縮特征圖進(jìn)行反卷積操作，解碼得到重構(gòu)明亮圖像；將重構(gòu)明亮圖像與原圖像進(jìn)行損失函數(shù)的計算；利用計算得到的損失函數(shù)進(jìn)行卷積網(wǎng)絡(luò)的調(diào)參操作，更新參數(shù)以優(yōu)化網(wǎng)絡(luò)；判斷是否達(dá)到預(yù)設(shè)的迭代次數(shù)，如果沒有達(dá)到則繼續(xù)上述操作，直到達(dá)到迭代次數(shù)以完成網(wǎng)絡(luò)訓(xùn)練。本發(fā)明的優(yōu)點是相比于傳統(tǒng)自編碼器圖像增強(qiáng)方法，將卷積操作應(yīng)用于編碼階段，減少網(wǎng)絡(luò)中產(chǎn)生的大量冗余參數(shù)，擁有更好的圖像增強(qiáng)效果，可應(yīng)用于圖像增強(qiáng)領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像編碼技術(shù)領(lǐng)域，特別是一種基于卷積自編碼器的圖像增強(qiáng)方法。

技術(shù)背景

在現(xiàn)代生活中，高科技的攝影設(shè)備已經(jīng)取得很大進(jìn)步。但是在惡劣情況下，比如在低光環(huán)境下拍攝，就會導(dǎo)致圖像出現(xiàn)低能見度和低質(zhì)量的缺陷，這給圖像識別分類等后續(xù)的圖像處理工作增加了難度。對于工業(yè)生產(chǎn)、醫(yī)學(xué)研究等對圖像質(zhì)量要求較高的領(lǐng)域，低質(zhì)量的圖像容易使決策者做出錯誤的決定。因此，圖像增強(qiáng)對于圖像分析應(yīng)用至關(guān)重要。圖像增強(qiáng)算法能夠提高圖像對比度，使增強(qiáng)后的圖片更加清晰，而對比度增強(qiáng)算法在處理圖像時可能會出現(xiàn)過度增強(qiáng)或不自然的效果。目前常用的圖像增強(qiáng)算法有標(biāo)準(zhǔn)直方圖均衡算法(Histogram equalization，HE)、基于Retinex的圖像增強(qiáng)算法、基于自動編碼器的圖像增強(qiáng)框架(The low-light net,LLNet)等。

在傳統(tǒng)的自編碼器網(wǎng)絡(luò)層中，神經(jīng)元的連接方式通常是全連接方式，在處理類似圖像這種高維數(shù)據(jù)時，這種神經(jīng)元連接方式會使得網(wǎng)絡(luò)產(chǎn)生大量冗余參數(shù)，尤其對于三通道的彩色圖像來說，參數(shù)會變得更多。又因為在傳統(tǒng)的自編碼器網(wǎng)絡(luò)中，每個網(wǎng)絡(luò)層參數(shù)是全局的，這樣就無法保留空間局部性，使得網(wǎng)絡(luò)學(xué)習(xí)速率變得很慢。而在卷積網(wǎng)絡(luò)中，卻具有局部連接和權(quán)值共享的特點。當(dāng)采用局部連接時，卷積層的每個神經(jīng)元僅與圖像局部相連，這大大減少了網(wǎng)絡(luò)參數(shù)值。如果要得到圖像更多的特征信息，則需要更多的卷積核來進(jìn)行卷積，最后只需在最高層將得到的特征信息綜合起來即可。由于在一副圖像的一處區(qū)域內(nèi)的特征極有可能在其他區(qū)域也適用，所以就不需要每個區(qū)域擁有各自的權(quán)值，這樣做也能夠減少網(wǎng)絡(luò)參數(shù)數(shù)量。

發(fā)明內(nèi)容

針對三通道彩色圖像在網(wǎng)絡(luò)訓(xùn)練時若使用傳統(tǒng)的編碼和解碼方式會產(chǎn)生大量冗余參數(shù)的問題，本發(fā)明在保留自動編碼器圖像增強(qiáng)算法的無監(jiān)督學(xué)習(xí)方式的優(yōu)勢基礎(chǔ)上，改進(jìn)了原有算法在網(wǎng)絡(luò)訓(xùn)練前期需要大量準(zhǔn)備工作的弊端，減少數(shù)據(jù)預(yù)處理的時間，提供了一種基于卷積自編碼器的圖像增強(qiáng)方法。

一種基于卷積自編碼器的圖像增強(qiáng)方法，包括以下步驟：

1)、將原圖像處理成為低光圖像，在圖像預(yù)處理成為低光圖像時加入高斯噪聲、椒鹽噪聲、泊松噪聲和斑點噪聲來進(jìn)行網(wǎng)絡(luò)的增亮和去噪的訓(xùn)練；

2)、將卷積操作當(dāng)作自編碼器的編碼操作來得到低光圖像的低維特征表示，網(wǎng)絡(luò)訓(xùn)練時輸入處理后的低光圖像，隨后經(jīng)過卷積網(wǎng)絡(luò)進(jìn)行編碼，得到壓縮特征圖，此時網(wǎng)絡(luò)學(xué)習(xí)到低光圖像的隱含特征，并進(jìn)行池化操作；

3)、將得到的壓縮特征圖進(jìn)行反卷積操作，解碼得到重構(gòu)明亮圖像；

4)、將重構(gòu)明亮圖像與原圖像進(jìn)行損失函數(shù)的計算；

5)、利用計算得到的損失函數(shù)進(jìn)行卷積網(wǎng)絡(luò)的調(diào)參操作，更新參數(shù)以優(yōu)化網(wǎng)絡(luò)；

6)、判斷是否達(dá)到預(yù)設(shè)的迭代次數(shù)，如果沒有達(dá)到則繼續(xù)上述操作，直到達(dá)到迭代次數(shù)以完成網(wǎng)絡(luò)訓(xùn)練。

進(jìn)一步，步驟1)中使用Gamma矯正對圖像進(jìn)行調(diào)整，假設(shè)A為常量，x_l為需要調(diào)整的原始高光圖像，γ為對圖像的操作參數(shù)，那么調(diào)整后的圖像為x_d：