[發(fā)明專利]基于雙分支邊緣保真網(wǎng)絡(luò)的圖像去馬賽克增強(qiáng)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011143894.1
• 申請(qǐng)日: 2020-10-23
• 公開（公告）號(hào): CN112215753A
• 公開（公告）日: 2021-01-12
• 發(fā)明（設(shè)計(jì)）人: 文玲;王星智
• 申請(qǐng)（專利權(quán)）人: 成都理工大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06T7/13;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于雙分支邊緣保真網(wǎng)絡(luò)的圖像去馬賽克增強(qiáng)方法，其特征在于，具體按照以下步驟實(shí)施：

步驟1、構(gòu)建訓(xùn)練數(shù)據(jù)集，并對(duì)數(shù)據(jù)進(jìn)行預(yù)處理操作，得到數(shù)量充足的訓(xùn)練數(shù)據(jù)集。

步驟2、搭建雙分支邊緣保真網(wǎng)絡(luò)，它由雙分支稠密殘差模塊和基于多特征融合的邊緣提取模塊組成。針對(duì)雙分支稠密殘差模塊所得結(jié)果，采用邊緣提取網(wǎng)絡(luò)提取邊緣細(xì)節(jié)；通過多層次邊緣損失代價(jià)最小化，反向優(yōu)化雙分支稠密殘差網(wǎng)絡(luò)性能，引導(dǎo)其生成具有更多邊緣細(xì)節(jié)信息的干凈圖像，構(gòu)成整的網(wǎng)絡(luò)框架。

步驟3、設(shè)置步驟2中搭建網(wǎng)絡(luò)框架的超參數(shù)、損失函數(shù)、選擇優(yōu)化算法對(duì)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)和優(yōu)化。

步驟4、根據(jù)步驟3設(shè)置的網(wǎng)絡(luò)超參數(shù)、損失函數(shù)、網(wǎng)絡(luò)優(yōu)化算法對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行訓(xùn)練，得到訓(xùn)練好的網(wǎng)絡(luò)模型。

步驟5、對(duì)馬賽克圖像用殘差插值法重建圖像，得到初步彩色圖像。

步驟6、將步驟5所得到的初始彩色圖像作為步驟4中已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)模型的輸入，進(jìn)行去馬賽克增強(qiáng)的測試實(shí)驗(yàn)，并用彩色峰值信噪比和結(jié)構(gòu)相似性指數(shù)度量去馬賽克圖像，說明網(wǎng)絡(luò)性能。

2.根據(jù)權(quán)利要求1所述的基于雙分支邊緣保真網(wǎng)絡(luò)的圖像去馬賽克增強(qiáng)方法，其特征在于，所訴步驟1具體包括以下步驟：

步驟1.1、從常用數(shù)據(jù)庫中隨機(jī)找出若干幅彩色圖像作為理想彩色圖像數(shù)據(jù)集，實(shí)驗(yàn)中所用的馬賽克圖像是按照bayer格式由理想彩色圖像下采樣得到。將得到的馬賽克圖像用殘差插值方法對(duì)其進(jìn)行彩色恢復(fù)得到初步去馬賽克圖像，將所有的初步去馬賽克圖像組成初步去馬賽克圖像數(shù)據(jù)集，理想彩色圖像數(shù)據(jù)集與初步去馬賽克圖像數(shù)據(jù)集組成訓(xùn)練數(shù)據(jù)集。

步驟1.2、對(duì)步驟1.1得到的訓(xùn)練數(shù)據(jù)集進(jìn)行預(yù)處理操作，將訓(xùn)練數(shù)據(jù)集中的每張圖像進(jìn)行0.7、0.8、0.9、1倍的縮放，根據(jù)訓(xùn)練數(shù)據(jù)集中圖像的大小，選擇適合尺度的滑動(dòng)窗口進(jìn)行平移操作，即完成對(duì)圖像的小塊分割得到若干個(gè)小塊圖像，以提高網(wǎng)絡(luò)訓(xùn)練性能；緊接著對(duì)每個(gè)小塊圖像進(jìn)行90度旋轉(zhuǎn)、180度旋轉(zhuǎn)、270度旋轉(zhuǎn)和上下翻轉(zhuǎn)的增廣操作，從而得到數(shù)量充足的訓(xùn)練數(shù)據(jù)集。

3.根據(jù)權(quán)利要求2所述的基于雙分支邊緣保真網(wǎng)絡(luò)的圖像去馬賽克增強(qiáng)方法，其特征在于，所述步驟2具體操作包括以下步驟：

步驟2.1、雙分支稠密殘差模塊由卷積層構(gòu)成，一個(gè)稠密殘差塊包含5個(gè)卷積層，第一層由64個(gè)大小為3*3的卷積核組成，其余4層由32個(gè)大小為3*3的卷積核組成。該模塊的主體由兩個(gè)卷積層和4個(gè)稠密殘差塊設(shè)計(jì)成包含兩條分支的結(jié)構(gòu)，第二條分支用于補(bǔ)充第一條分支沒有提到的特征，將兩條網(wǎng)絡(luò)分支融合操作后輸出。

步驟2.2、基于多特征融合的邊緣提取模塊，采用改進(jìn)HED網(wǎng)絡(luò)，將同一個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)的不同層級(jí)側(cè)面輸出，將側(cè)輸出層與每一組卷積層的最后一層卷積層相連，然后網(wǎng)絡(luò)把高層特征邊緣圖進(jìn)行反卷積，使其大小擴(kuò)大到與原圖相同，為了最好地利用該算法提出的結(jié)構(gòu)中的每個(gè)側(cè)輸出層的結(jié)果，增加了一個(gè)“權(quán)重混合層”用來將所有的側(cè)輸出層的預(yù)測結(jié)果連接到一起并且在訓(xùn)練的過程中學(xué)習(xí)混合權(quán)重。網(wǎng)絡(luò)模塊結(jié)構(gòu)為第一層：有兩個(gè)卷積層，一個(gè)最大池化層；卷積層使用的是3*3*3卷積核，卷積數(shù)量為64。第二層：有兩個(gè)卷積層，一個(gè)最大池化層；卷積層使用的是3*3*3卷積核，卷積數(shù)量為128。第三層：有三個(gè)卷積層，一個(gè)最大池化層；卷積層使用的是3*3*3卷積核，卷積數(shù)量為512。第四層：有三個(gè)卷積層；卷積層使用的是3*3*3卷積核，卷積數(shù)量為512。

步驟2.3、將步驟2.1得到的輸出結(jié)果與網(wǎng)絡(luò)的輸入(初始去馬賽克圖像)做相減操作做為步驟2.2網(wǎng)絡(luò)的輸入。

步驟2.4、將步驟2.2搭建的基于多特征融合的邊緣提取模塊的輸出又反向做為雙分支稠密殘差模塊的輸入，優(yōu)化雙分支稠密殘差網(wǎng)絡(luò)性能,引導(dǎo)其生成具有更多邊緣細(xì)節(jié)信息的干凈圖像，得到最終的去馬賽克增強(qiáng)圖像。