[發(fā)明專利]基于雙分支邊緣保真網(wǎng)絡(luò)的圖像去馬賽克增強方法

在審

• 申請?zhí)枺?/td>: 202011143894.1
• 申請日: 2020-10-23
• 公開（公告）號: CN112215753A
• 公開（公告）日: 2021-01-12
• 發(fā)明（設(shè)計）人: 文玲;王星智
• 申請（專利權(quán)）人: 成都理工大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/13;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開基于雙分支邊緣保真網(wǎng)絡(luò)的圖像去馬賽克增強方法。解決當(dāng)前圖像恢復(fù)中彩色偽影、細(xì)節(jié)丟失、邊緣模糊的問題。具體為：步驟1、構(gòu)造訓(xùn)練數(shù)據(jù)集，得到數(shù)量充足的訓(xùn)練數(shù)據(jù)集；步驟2、搭建雙分支邊緣保真網(wǎng)絡(luò)；步驟3、設(shè)置步驟2中搭建網(wǎng)絡(luò)框架的超參數(shù)、損失函數(shù)、選擇優(yōu)化算法對網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)和優(yōu)化；步驟4、對雙分支邊緣保真網(wǎng)絡(luò)進(jìn)行訓(xùn)練；步驟5、對馬賽克圖像用殘差插值法重建圖像，得到初步彩色圖像；步驟6、將步驟5所得到的初始彩色圖像作為步驟4中已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)模型的輸入，進(jìn)行測試實驗，采用彩色峰值信噪比和結(jié)構(gòu)相似性指數(shù)度量去馬賽克測試圖像，說明網(wǎng)絡(luò)性能。該方法在圖像質(zhì)量和細(xì)節(jié)方面得到明顯的提升和增強。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理方法技術(shù)領(lǐng)域，具體涉及一種基于雙分支邊緣保真網(wǎng)絡(luò)的圖像去馬賽克增強方法。

背景技術(shù)

在科技發(fā)展迅速的今天，視覺處理技術(shù)被廣泛運用于各個領(lǐng)域，視覺處理技術(shù)的關(guān)鍵環(huán)節(jié)是圖像提取，而圖像的提出離不開各種類型攝像頭。為了降低成本，數(shù)碼相機大都采用單個表面覆蓋彩色陣列的CCD芯片來獲取彩色圖像。往往在采集的過程中，由于單個表面覆蓋彩色陣列采集原理的缺陷，所以造成某些像素點顏色像素值不完全的情況，稱這些顏色像素值不完全的像素點為馬賽克。為得到完整的彩色圖像，將缺失的像素填補修復(fù)的過程稱為去馬賽克。而傳統(tǒng)的一些去馬賽克算法存在細(xì)節(jié)丟失、彩色偽影、邊緣模糊等問題，所以本發(fā)明為解決上述問題提出了一種基于雙分支邊緣保真網(wǎng)絡(luò)的圖像去馬賽克增強方法。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供基于雙分支邊緣保真網(wǎng)絡(luò)的圖像去馬賽克增強方法，具有效率高、質(zhì)量高、修復(fù)強的優(yōu)勢。

本發(fā)明的目的是通過以下技術(shù)方案來實現(xiàn)的：基于雙分支邊緣保真網(wǎng)絡(luò)的圖像去馬賽克增強方法，包括以下步驟：

步驟1、構(gòu)建訓(xùn)練數(shù)據(jù)集，并對數(shù)據(jù)進(jìn)行預(yù)處理操作，得到數(shù)量充足的訓(xùn)練數(shù)據(jù)集。

步驟1.1、從常用數(shù)據(jù)庫中隨機找出若干幅彩色圖像作為理想彩色圖像數(shù)據(jù)集，實驗中所用的馬賽克圖像是按照bayer格式由理想彩色圖像下采樣得到。將得到的馬賽克圖像用殘差插值方法對其進(jìn)行彩色恢復(fù)得到初步去馬賽克圖像，將所有的初步去馬賽克圖像組成初步去馬賽克圖像數(shù)據(jù)集，理想彩色圖像數(shù)據(jù)集與初步去馬賽克圖像數(shù)據(jù)集組成訓(xùn)練數(shù)據(jù)集；

步驟1.2、對步驟1.1得到的訓(xùn)練數(shù)據(jù)集進(jìn)行預(yù)處理操作，將訓(xùn)練數(shù)據(jù)集中的每張圖像進(jìn)行0.7、0.8、0.9、1倍的縮放，根據(jù)訓(xùn)練數(shù)據(jù)集中圖像的大小，選擇適合尺度的滑動窗口進(jìn)行平移操作，即完成對圖像的小塊分割得到若干個小塊圖像，以提高網(wǎng)絡(luò)訓(xùn)練性能；緊接著對每個小塊圖像進(jìn)行90度旋轉(zhuǎn)、180度旋轉(zhuǎn)、270度旋轉(zhuǎn)和上下翻轉(zhuǎn)的增廣操作，從而得到數(shù)量充足的訓(xùn)練數(shù)據(jù)集。

步驟2、搭建雙分支邊緣保真網(wǎng)絡(luò)，它由雙分支稠密殘差模塊和基于多特征融合的邊緣提取模塊組成。針對雙分支稠密殘差模塊所得結(jié)果，采用邊緣提取網(wǎng)絡(luò)提取邊緣細(xì)節(jié)；通過多層次邊緣損失代價最小化，反向優(yōu)化雙分支稠密殘差網(wǎng)絡(luò)性能，引導(dǎo)其生成具有更多邊緣細(xì)節(jié)信息的干凈圖像，構(gòu)成整的網(wǎng)絡(luò)框架。

步驟2.1、雙分支稠密殘差模塊由卷積層構(gòu)成，一個稠密殘差塊包含5個卷積層，第一層由64個大小為3*3的卷積核組成，其余4層由32個大小為3*3的卷積核組成。該模塊的主體由兩個卷積層和4個稠密殘差塊設(shè)計成包含兩條分支的結(jié)構(gòu)，第二條分支用于補充第一條分支沒有提到的特征，將兩條網(wǎng)絡(luò)分支融合操作后輸出。

步驟2.2、基于多特征融合的邊緣提取模塊，采用改進(jìn)HED網(wǎng)絡(luò)，將同一個深度學(xué)習(xí)網(wǎng)絡(luò)的不同層級側(cè)面輸出，將側(cè)輸出層與每一組卷積層的最后一層卷積層相連，然后網(wǎng)絡(luò)把高層特征邊緣圖進(jìn)行反卷積，使其大小擴(kuò)大到與原圖相同，為了最好地利用該算法提出的結(jié)構(gòu)中的每個側(cè)輸出層的結(jié)果，增加了一個“權(quán)重混合層”用來將所有的側(cè)輸出層的預(yù)測結(jié)果連接到一起并且在訓(xùn)練的過程中學(xué)習(xí)混合權(quán)重。

步驟2.3、將步驟2.1得到的輸出結(jié)果與網(wǎng)絡(luò)的輸入(初始去馬賽克圖像)做相減操作做為步驟2.2網(wǎng)絡(luò)的輸入。