[發(fā)明專利]一種基于聯(lián)邦學(xué)習(xí)的并行空洞新結(jié)構(gòu)的超分辨率重構(gòu)網(wǎng)絡(luò)

有效

• 申請?zhí)枺?/td>: 202110009979.9
• 申請日: 2021-01-05
• 公開（公告）號: CN112669216B
• 公開（公告）日: 2022-04-22
• 發(fā)明（設(shè)計）人: 賈智焱;馬麗紅;韋崗
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N20/20;G06N3/08;G06N3/04
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 何淑珍;江裕強(qiáng)

本發(fā)明公開了一種基于聯(lián)邦學(xué)習(xí)的并行空洞新結(jié)構(gòu)的超分辨率重構(gòu)網(wǎng)絡(luò)感包括若干個局部稠密連接殘差組(LDCRG)，通過將若干個局部稠密連接殘差組串聯(lián)，所有的LDCRG的輸出進(jìn)行融合為上采樣重構(gòu)提供信息；每個局部稠密連接殘差組由感受野匹配的殘差稠密塊(PRDB)組成；所述感受野匹配的殘差稠密塊包括感受野匹配模塊(PDM)和殘差稠密塊(RDB)，感受野匹配模塊添加在殘差稠密塊RDB的跳躍連接的兩端信號之間；本發(fā)明通過PDM匹配殘差跳躍連接兩端的感受野和LDCRG有選擇的對殘差稠密塊的輸出進(jìn)行融合學(xué)習(xí)，提升SR網(wǎng)絡(luò)的性能。

技術(shù)領(lǐng)域

本發(fā)明涉及卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)領(lǐng)域，具體涉及一種基于聯(lián)邦學(xué)習(xí)的并行空洞新結(jié)構(gòu)的超分辨率重構(gòu)網(wǎng)絡(luò)。

背景技術(shù)

單幀圖像超分辨率重構(gòu)(Single Image Super-Resolution Reconstruction,SISR)技術(shù)在遙感遙測、天空信號和醫(yī)學(xué)信息成像、安全監(jiān)控等領(lǐng)域中具有廣泛的應(yīng)用。基于深度卷積網(wǎng)的SISR技術(shù)，依靠深和寬的網(wǎng)絡(luò)來產(chǎn)生盡可能多的特征原子；更依靠殘差網(wǎng)的等同映射，使更深的網(wǎng)絡(luò)收斂。同時依靠稠密連接、依靠記憶門、依靠注意力等機(jī)制，也依靠超大樣本集的訓(xùn)練和精準(zhǔn)擬合機(jī)制，顯著提高了SR圖像的重建質(zhì)量。

第一個圖像SR卷積網(wǎng)SRCNN(C.DONG,C.C.LOY,K.HE,X.TANG.Learning a deepconvolutional network for image super-resolution[C]//European Conf.onComputer Vision.Switzerland:Springer-Cham,2014:184-189.)特點是大樣本、強(qiáng)學(xué)習(xí)和高速算力；非常深網(wǎng)絡(luò)VDSR(J.KIM,J.K LEE,K.MU LEE.Accurate image super-resolution using very deep convolutional networks[C]//IEEE Conf.on ComputerVision and Pattern Recognition.Las Vegas:IEEE,2016:1646-1654.)的20層跳躍連接殘差機(jī)制是網(wǎng)絡(luò)收斂性的首個保證。遞歸網(wǎng)DRCN(J.KIM,J.K LEE,K.MU LEE.Deeply-recursive convolutional network for image super-resolution[C]//IEEE Conf.OnComputer Vision and Pattern Recognition.Las Vegas:IEEE,2016:1637-1645.)在推理階段基于監(jiān)督機(jī)制實現(xiàn)了多次遞歸而不崩潰，因而重構(gòu)性能隨深度和遞歸次數(shù)的增加而提高。另一方面，增強(qiáng)SR殘差網(wǎng)EDSR(B.LIM,S.SON,H.KIM.Enhanced deep residualnetworks for single image super-resolution[C]//IEEE Conf.On Computer Visionand Pattern Recognition.Honolulu:IEEE,2017:1132-1140.)去掉了殘差稠密網(wǎng)絡(luò)SRResNet(T.TONG,G.LI,X.LIU,Q.GAO.Image super resolution using dense skipconnections[C]//IEEE Conf.on Computer Vision.Venice:IEEE,2017:4809-4817.)的批歸一化層(Batch Normalization,BN)，原因是，BN層雖然重新產(chǎn)生數(shù)據(jù)的分布，可以減輕梯度消弭影響，但在SR重建中，BN層會使數(shù)據(jù)變形，破壞低分辨率原始特征。包含殘差連接的SR網(wǎng)絡(luò)是能夠真正加深的，一來它提供的恒等映射是對網(wǎng)絡(luò)學(xué)習(xí)的一個先驗約束，改變網(wǎng)絡(luò)矩陣的對稱性，使深層隱單元仍能對不同輸入呈現(xiàn)不同響應(yīng)，從而減輕網(wǎng)絡(luò)的退化；而且殘差本身是基本單元中輸入輸出間的差異值，直觀指示了學(xué)習(xí)性能，減輕了殘差網(wǎng)的學(xué)習(xí)難度。不過，即使對于最省參數(shù)的等深等寬的殘差基本單元，在網(wǎng)絡(luò)不通位置的子模塊中，其殘差跳連兩端的輸入和輸出信號的感受野(Perceptive Field，PF)失配的差異值包含了感受野的變化和其他圖像特征的變化，會限制子模塊對特征信息的提取高效可控。