[發(fā)明專利]面向圖像恢復(fù)的多尺度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索方法及網(wǎng)絡(luò)應(yīng)用

有效

• 申請(qǐng)?zhí)枺?/td>: 202011269424.X
• 申請(qǐng)日: 2020-11-13
• 公開（公告）號(hào): CN112381733B
• 公開（公告）日: 2022-07-01
• 發(fā)明（設(shè)計(jì)）人: 彭璽;緱元彪;李伯運(yùn)
• 申請(qǐng)（專利權(quán)）人: 四川大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06N3/08;G06N3/04
• 代理公司: 北京正華智誠(chéng)專利代理事務(wù)所(普通合伙) 11870
• 代理人: 楊浩林

1.面向圖像恢復(fù)的多尺度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索方法，其特征在于，包括：

S1、確定多尺度神經(jīng)網(wǎng)絡(luò)中細(xì)胞的數(shù)量S及每個(gè)細(xì)胞的列數(shù)，細(xì)胞中的每列僅有并行模塊或融合模塊；

S2、在多尺度的搜索空間上，構(gòu)建一個(gè)待搜索的超網(wǎng)絡(luò)，所述超網(wǎng)絡(luò)包括依次連接的兩個(gè)并行模塊、S對(duì)由過渡模塊和細(xì)胞串聯(lián)后的組合模塊、1個(gè)融合模塊和1個(gè)卷積層；

S3、基于梯度優(yōu)化的搜索策略，確定超網(wǎng)絡(luò)中每個(gè)細(xì)胞每列最終選擇的模塊，得到多尺度神經(jīng)網(wǎng)絡(luò)；搜索每個(gè)細(xì)胞的每列最終選擇的模塊的方法包括：

S31、初始化當(dāng)前迭代次數(shù)q＝1，初始化迭代次數(shù)e、結(jié)構(gòu)更新閾值t、超網(wǎng)絡(luò)權(quán)重參數(shù)θ和超網(wǎng)絡(luò)結(jié)構(gòu)參數(shù){a^p，a^f}；

S32、獲取由退化圖像和對(duì)應(yīng)干凈圖像對(duì)組成的數(shù)據(jù)集，將數(shù)據(jù)集劃分為訓(xùn)練集和驗(yàn)證集，其中退化圖像和對(duì)應(yīng)干凈圖像分別作為網(wǎng)絡(luò)輸入和目標(biāo)輸出；

S33、判斷當(dāng)前迭代次數(shù)q是否大于結(jié)構(gòu)更新閾值t，若是則進(jìn)入步驟S34，否則進(jìn)入步驟S35；

S34、基于損失函數(shù)，利用驗(yàn)證集中的數(shù)據(jù)更新超網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù){a^p，a^f}，之后進(jìn)入步驟S35；

S35、基于損失函數(shù)，利用訓(xùn)練集中的數(shù)據(jù)更新超網(wǎng)絡(luò)的權(quán)重參數(shù)θ，之后進(jìn)入步驟S36；

S36、判斷當(dāng)前迭代次數(shù)q是否大于迭代次數(shù)e，若是，則進(jìn)入步驟S37，否則，令q＝q+1，之后返回步驟S33；

S37、判斷每個(gè)細(xì)胞中每列的并行模塊的結(jié)構(gòu)參數(shù)a^p是否大于融合模塊的結(jié)構(gòu)參數(shù)a^f，若是，則對(duì)應(yīng)列選取并行模塊，否則，對(duì)應(yīng)列選取融合模塊；

所述并行模塊用于通過運(yùn)算保持各并行路徑上特征的分辨率不變，其包括至少一個(gè)并行的卷積塊，所述卷積塊的數(shù)量等于輸入神經(jīng)網(wǎng)絡(luò)的圖像的分辨率數(shù)量；

過渡模塊用于增加一條新的低分辨率的并行路徑，同時(shí)保持已有并行路徑的特征不變，其包括空運(yùn)算塊和采樣塊，空運(yùn)算塊的數(shù)量等于輸入過渡模塊的分辨率數(shù)量，下采樣塊對(duì)最小分辨率進(jìn)行下采樣；

融合模塊用于對(duì)輸入的分辨率通過下采樣、上采樣和/或空運(yùn)算將各并行路徑上的特征分別與每條路徑上的特征進(jìn)行融合，其包括空運(yùn)算塊、上采樣塊和下采樣塊。

2.根據(jù)權(quán)利要求1所述的面向圖像恢復(fù)的多尺度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索方法，其特征在于，所述超網(wǎng)絡(luò)內(nèi)細(xì)胞每列的輸出為：

其中，y_j+1為細(xì)胞的第j+1列的輸出；分別為細(xì)胞第j列的并行模塊和融合模塊的輸出；分別為細(xì)胞的第j列中并行模塊和融合模塊的結(jié)構(gòu)參數(shù)。

3.根據(jù)權(quán)利要求1所述的面向圖像恢復(fù)的多尺度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索方法，其特征在于，所述損失函數(shù)的計(jì)算公式為：

其中，λ₁和λ₂均為權(quán)重系數(shù)；為真實(shí)的干凈圖像和網(wǎng)絡(luò)恢復(fù)的干凈圖像f(x_i)之間的恢復(fù)損失；i為圖像像素索引；n為圖像像素?cái)?shù)量；為結(jié)構(gòu)正則化損失；N為{a^p，a^f}中結(jié)構(gòu)參數(shù)的數(shù)量；a為{a^p，a^f}中的結(jié)構(gòu)參數(shù)；為用于衡量模型復(fù)雜性的可微損失項(xiàng)；C^p和C^f分別為并行模塊和融合模塊的復(fù)雜性。

4.根據(jù)權(quán)利要求1所述的面向圖像恢復(fù)的多尺度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索方法，其特征在于，所述下采樣塊的第1層為卷積層，第2層為批歸一化層，之后將第1～2層的結(jié)構(gòu)各重復(fù)次，第2R₁+1層為線性整流函數(shù)層，其中S_res為下采樣塊的輸入分辨率，T_res為輸出的目標(biāo)分辨率；

所述卷積塊的第1層為卷積層，第2層為批歸一化層，第3層為線性整流函數(shù)層；第4層為卷積層，第5層為批歸一化層，第6層為線性整流函數(shù)層；

所述上采樣塊的第1層為卷積層，第2層為批歸一化層，第3層為線性整流函數(shù)層，之后將1～3層的結(jié)構(gòu)各重復(fù)次，其中S’_res為上采樣塊的輸入分辨率，T_res為輸出的目標(biāo)分辨率。